শেখ মো. আব্দুল্লাহ ১৯৪৫ সালের ৮ সেপ্টেম্বর গোপালগঞ্জ জেলার মধুমতী নদীর তীরবর্তী কেকানিয়া গ্রামের এক সম্ভ্রান্ত পরিবারে জন্মগ্রহণ করেন। তার পিতা মরহুম শেখ মো. মতিউর রহমান এবং মাতা মরহুমা মোসাম্মৎ রাবেয়া খাতুন। চার ভাই ও তিন বোনের মধ্যে দ্বিতীয় ছিলেন আব্দুল্লাহ।

তিনি স্থানীয় গওহরডাঙ্গা হাফেজিয়া মাদরাসায় পবিত্র কোরআন হেফজের মাধ্যমে শিক্ষা জীবন শুরু করেন। এরপর একই মাদরাসার কওমি ধারায় পড়াশোনা করেন। তিনি সুলতানশাহী কেকানিয়া প্রাথমিক বিদ্যালয় থেকে প্রাথমিক শিক্ষা এবং সুলতানশাহী কেকানিয়া হাই স্কুল থেকে ১৯৬১ সালে মেট্রিক পাসের মাধ্যমে মাধ্যমিক শিক্ষা সম্পন্ন করেন। তিনি খুলনার আযম খান কলেজ থেকে ১৯৬৩ সালে উচ্চ মাধ্যমিক, ১৯৬৬ সালে বিকম (অনার্স) ডিগ্রি সম্পন্ন করেন। পরে তিনি ঢাকা বিশ্ববিদ্যালয় থেকে ১৯৭২ সালে এম কম এবং ১৯৭৪ সালে অর্থনীতিতে এমএ ডিগ্রি অর্জন করেন। তিনি ১৯৭৭ সালে ঢাকা সেন্ট্রাল ল’ কলেজ থেকে এলএলবি ডিগ্রিও অর্জন করেন।

শিক্ষাজীবন শেষে সুলতানশাহী কেকানিয়া উচ্চ বিদ্যালয়ের প্রধান শিক্ষক হিসেবে কর্মজীবন শুরু করেন আব্দুল্লাহ। পরে তিনি অ্যাডভোকেট হিসেবে গোপালগঞ্জ জজকোর্ট এবং ঢাকা জজকোর্টে প্র্যাকটিস শুরু করেন।

বঙ্গবন্ধু শেখ মুজিবুর রহমানের আদর্শ ধারণ করে ছাত্রজীবনেই তিনি রাজনীতির সাথে যুক্ত হন। তিনি খুলনার আযম খান কমার্স কলেজে প্রথম ভিপি নির্বাচিত হন। ষাটের দশকে বঙ্গবন্ধুর নেতৃত্বে পূর্ব পাকিস্তানে যখন ছয় দফার উত্তাল আন্দোলন চলছিল, সেসময় এ আন্দোলনে তিনি সক্রিয়ভাবে অংশগ্রহণ করেন। বঙ্গবন্ধুর সাথে যোগাযোগের মাধ্যমে রাজনীতিতে গভীরভাবে সম্পৃক্ত হন। যুবলীগের প্রতিষ্ঠাতা যুবনেতা শেখ ফজলুল হক মনির নেতৃত্বে তিনি আওয়ামী যুবলীগে যোগদান করেন।

এ সময় তিনি বঙ্গবন্ধুর সরাসরি তত্ত্বাবধানে গঠিত গোপালগঞ্জ জেলা আওয়ামী লীগের সাংগঠনিক সম্পাদক এবং গোপালগঞ্জ জেলা আওয়ামী যুবলীগের প্রতিষ্ঠাতা সভাপতি হিসেবে দায়িত্ব পালন করেন। এরপর তিনি কেন্দ্রীয় আওয়ামী যুবলীগের সদস্য হিসেবে দায়িত্ব পালন করেন। আব্দুল্লাহ ১৯৬৯ সালের গণঅভ্যুত্থান আন্দোলনে সক্রিয়ভাবে অংশগ্রহণ করেন। এরপর ১৯৭০ এর নির্বাচনে স্থানীয় রাজনীতিতে জড়িত হয়ে বঙ্গবন্ধুর নেতৃত্বে আওয়ামী লীগের ব্যাপক নির্বাচনী কার্যক্রমে অংশগ্রহণ করেন।

১৯৭১ সালের মুক্তিযুদ্ধের অন্যতম গুরুত্বপূর্ণ ফ্রন্ট মুজিব বাহিনীর সাথে সরাসরি সম্পৃক্ত হয়ে মুক্তিযুদ্ধে অংশগ্রহণ করেন আব্দুল্লাহ। বাঙালির স্বাধীনতা সংগ্রাম শুরু হলে তিনি মুক্তিযুদ্ধে সক্রিয়ভাবে অংশগ্রহণ করেন।

আব্দুল্লাহ ১৯৭৩ সালে স্বাধীন বাংলাদেশ সরকারের অধীনে অনুষ্ঠিত বিসিএস পরীক্ষায় উত্তীর্ণ হন। কিন্তু রাজনৈতিক কর্মকাণ্ডের মাধ্যমে দেশ সেবা করার লক্ষ্যে চাকরির পরিবর্তে বঙ্গবন্ধুর আদর্শ এবং তার নেতৃত্বে রাজনীতি করার সিদ্ধান্ত গ্রহণ করেন। এরপর কাউন্সিলের মাধ্যমে গোপালগঞ্জ জেলা আওয়ামী লীগের সাধারণ সম্পাদক নির্বাচিত হন। দীর্ঘদিন তিনি এ দায়িত্ব পালন করেন। তিনি জাতীয় পর্যায়ে বাংলাদেশ আওয়ামী লীগের কেন্দ্রীয় কমিটির ধর্ম বিষয়ক সম্পাদকের দায়িত্বও পালন করেন।

শেখ মো. আব্দুল্লাহ জাতির পিতা বঙ্গবন্ধু শেখ মুজিবুর রহমানের স্নেহধন্য ছিলেন। তিনি বঙ্গবন্ধুর নির্দেশে বৃহত্তর খুলনা অঞ্চলে বিভিন্ন সাংগঠনিক ও রাজনৈতিক দায়িত্ব পালন করেন।

আওয়ামী লীগ সভাপতি শেখ হাসিনা তার নির্বাচনী সংসদীয় আসন ২১৭ তথা গোপালগঞ্জ-৩ (টুঙ্গীপাড়া-কোটালীপাড়া) আসনে যতবার সংসদ সদস্য নির্বাচিত হয়েছেন, শেখ আব্দুল্লাহ তার পক্ষে নির্বাচনী এজেন্ট হিসেবে অত্যন্ত দক্ষতার সাথে সব কার্যক্রম পরিচালনা করেন। তিনি নির্বাচন পরবর্তী সময়ে প্রধানমন্ত্রী শেখ হাসিনার নির্বাচনী এলাকার সংসদীয় প্রতিনিধি হিসেবে সততা, নিষ্ঠা ও সুনামের সাথে দায়িত্ব পালন করে আসছিলেন।

১৯৭৫ সালের ১৫ আগস্টের কালরাত্রিতে জাতির পিতা বঙ্গবন্ধুসহ তার পরিবারের অন্য সদস্যরা ঘাতকের বুলেটের আঘাতে শাহাদাতবরণ করলে দেশ এক কঠিন পরিস্থিতিতে পড়ে। বিশেষ করে আওয়ামী লীগের নেতাকর্মীদের জীবনে এক দুর্দিন উপনীত হয়। এসময় গোপালগঞ্জ আওয়ামী লীগকে সংগঠিত রাখতে শেখ মো. আব্দুল্লাহ লোভ-লালসা, ভয়ভীতি, হুমকি-ধামকি উপেক্ষা করে অকুতোভয় সৈনিকের ভূমিকা নিয়ে আপসহীনভাবে দলের প্রতি অনুগত থাকেন এবং দলের নিবেদিত কর্মী-সমর্থকদের আস্থার প্রতীক হয়ে ওঠেন। বঙ্গবন্ধু কন্যা শেখ হাসিনা স্বদেশ প্রত্যাবর্তনের পর শেখ আব্দুল্লাহ তার বলিষ্ঠ নেতৃত্বের প্রতি আস্থাশীল হয়ে সক্রিয়ভাবে রাজনীতিতে দায়িত্ব পালন করেন।

আব্দুল্লাহ দীর্ঘ দিন ধরে ইসলামিক ফাউন্ডেশনের বোর্ড অব গভর্নরসের সম্মানিত গভর্নর হিসেবে অত্যন্ত দক্ষতার সাথে দায়িত্বশীল ভূমিকা পালন করেন। তিনি বঙ্গবন্ধু কন্যা ও প্রধানমন্ত্রী শেখ হাসিনার সরকার কর্তৃক বাংলাদেশের কওমি মাদরাসা বোর্ডসমূহের শিক্ষা সনদের যে সরকারি স্বীকৃতি প্রদান করা হয়, তা অর্জনে গুরুত্বপূর্ণ ভূমিকা পালন করেন। ইসলামিক ফাউন্ডেশনের প্রতিষ্ঠাবার্ষিকী উপলক্ষে আয়োজিত ঐতিহাসিক সোহরাওয়ার্দী উদ্যানে আলেম-ওলামাদের মহাসমাবেশে প্রথমবারের মতো মসজিদুল হারাম এবং মসজিদে নববির (সা.)-এর সম্মানিত ইমাম ও খতিবদের বাংলাদেশ সফরের ব্যবস্থাপনায় মুখ্য ভূমিকাও পালন করেন তিনি।

১৯৯৬-২০০১ সাল পর্যন্ত অগ্রণী ব্যাংক লিমিটেডের পরিচালকের দায়িত্ব পালন করেন শেখ আব্দুল্লাহ। বিভিন্ন শিক্ষা, সামাজিক ও সাংস্কৃতিক প্রতিষ্ঠানের পৃষ্ঠপোষকতাও করেন। এছাড়া তিনি অসংখ্য ধর্মীয় প্রতিষ্ঠানের প্রতিষ্ঠাতা এবং পৃষ্ঠপোষক হিসেবে ধর্মীয় ক্ষেত্রে অসামান্য অবদান রেখে আসছিলেন।

বিভিন্ন সরকারি ও বেসরকারি প্রতিষ্ঠানে দায়িত্ব পালনের অংশ হিসেবে শেখ মো. আব্দুল্লাহ সৌদি আরব, কুয়েত, সিঙ্গাপুর, মালয়েশিয়া ও থাইল্যান্ড ভ্রমণ করেন। তিনি একাধিকবার পবিত্র হজ পালন করেন।