หลวงปู่ดุลย์ ถือกำเนิด ณ บ้านปราสาท อำเภอเมือง จังหวัดสุรินทร์ เมื่อวันที่ 4 ตุลาคม 2430 ตรงกับวันแรม 2 ค่ำ เดือน 11 ในรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ขณะนี้พระยาสุรินทร์ฯ (ม่วง) ยังเป็นเจ้าเมืองอยู่ แต่ไปช่วยราชการอยู่จังหวัดอุบลราชธานี เนื่องจากเจ้าเมื่ออุบลฯ และกรมการเมืองชั้นผู้ใหญ่ต้องไปราชการทัพเพื่อปราบฮ่อ

       

          บิดาของท่านชื่อ นายแดง มารดาชื่อ นางเงิน นามสกุล "ดีมาก" แต่เหตุที่ท่านนามสกุลว่า "เกษมสินธุ์" นั้น ท่านเล่าว่า เมื่อท่านไปพำนักประจำอยู่ที่วัดสุดทัศนารามจังหวัด อุบลราชธานีเป็นเวลานาน มีหลานชายคนหนึ่ง ซื่อพร้อม ไปอยู่ด้วยท่านจึงตั้งนามสกุลให้ว่า "เกษมสินธุ์" ตั้งแต่นั้นมาท่านก็เลยใช้นามสกุลว่า "เกษมสินธุ์" ไปด้วย

       

ท่านมีพี่น้องร่วมบิดามารดา 5 คนด้วยกัน คือ

       

          คนแรก เป็นหญิง ชื่อ กลิ้ง

          คนที่ 2 เป็นชาย ชื่อ ดุลย์ (คือ ตัวท่าน)

          คนที่ 3 เป็นชาย ชื่อ แดน

          คนที่ 4 เป็นหญิง ชื่อ รัตน์

          คนที่ 5 เป็นหญิง ชื่อ ทอง

       

          พี่น้องของท่านตางพากันดำรงชีวิตไปตามอัตภาพตราบเท่าวัยชรา และได้ถึงแก่กรรมไปก่อนที่จะมีอายุถึง 70 ปีทั้งหมด หลวงปู่ดุลย์ ผู้เดียวที่ครองอัตภาพมาได้ยาวนานถึง 96 ปี

       

       

          ครั้นเมื่อได้รับอนุญาตจากบิดามารดาเรียบร้อยแล้วอย่างนี้ ท่านจึงได้ละฆราวาสวิสัยอย่างเข้าสู่ความเป็นสมณะตั้งแต่ปี พ.ศ. 2452 เมื่อท่านมีอายุได้ 22 ปี โดยมีพวกตระกูลเจ้าของเมืองที่เคยชุบเลี้ยงท่าน เป็นผู้จัดแจงในเรื่องการบวชให้ครบถ้วนทุกอย่าง ท่านได้บรรพชาอุปสมบท ณ พัทธสีมา วัดชุมพลสุทธาวาส ในเมืองสุรินทร์ โดยมี

       

          พระครูวิมลสีลพรต (ทอง) เป็น พระอุปัชฌาย์

          พระครูบึก เป็น พระกรรมวาจาจารย์

          พระครูฤทธิ์ เป็น พระอนุสาวนาจารย์

       

          เมื่อแรกบวช ก็ได้ปฏิบัติกัมมัฏฐานกับหลวงปู่แอกวัดคอโค ซึ่งอยู่ชานเมืองสุรินทร์ วิธีการเจริญกัมมัฏฐานในสมัยนั้น ก็ไม่มีวิธีอะไรมากมายนัก วิชาที่หลวงปู่แอกสอนให้สมัยนั้น คือ จุดเทียนขึ้นมา 5 เล่ม แล้วนั่งบริกรรมว่า "ขออัญเชิญปีติทั้ง 5 จงมาหาเรา" ดังนี้เท่านั้นแต่หลวงปู่ดุลย์ก็พากเพียรปฏิบัติอย่างเคร่งครัด ด้วยความวิริยะอุตสาหะอย่างแรงกล้า พยายามบริกรรมเรื่อยมาจนครบไตรมาสโดยไม่ลดละ แต่ก็ไม่ปรากฏเห็นผลอันใดแม้เล็กน้อย

       

          สังขารธรรมหนึ่งอุบัติขึ้นเมื่อวันที่ 4 ตุลาคม พ.ศ. 2430 ณ บ้านปราสาท ตำบลเฉลียง อำเภอเมือง จังหวัดสุรินทร์ ได้เจริญเติบโตและรุ่งเรืองมาโดยลำดับตามวัย ได้ดำเนินชีวิตอย่างถูกต้องดีงามอยู่ภายใต้ผ้ากาสาวพัสตร์เป็นเวลานานถึง 64 พรรษา ท่านประพฤติปฏิบัติตนเป็นแบบอย่างที่ดีงามของชาวพุทธตลอดเวลา เป็นเนื้อนาบุญของโลก ท่าทนเป็นพุทธสาวกอย่างแท้จริง ได้บำเพ็ญประโยชน์แก่ผู้อื่นอย่างสมบูรณ์บริบูรณ์ บัดนี้สังขารขันธ์นั้นได้ดับลงแล้ว ตาม สภาวธรรม เมื่อ 30 ตุลาคม พ.ศ. 2526

       

          แม้ว่า หลวงปู่ดุลย์ อตุโล ได้สละทิ้งร่างกายไปแล้ว แต่เมตตาธรรมที่ท่านได้ประสาทไว้แก่สานุศิษย์ทั้งหลาย ยังเหลืออยู่ คุณธรรมดังกล่าวยังคงประทับอยู่ในจิตใจของทุกๆ คนไม่ลืมเลือน