ในปี พ.ศ. 2507 สมเด็จพระศรีนครินทราบรมราชชนนี ได้เริ่มเสด็จประพาสหัวเมืองเพื่อทรงเยี่ยมพสกนิกรตามภูมิภาคต่าง ๆ ของประเทศไทย ทำให้ได้ทอดพระเนตรเห็นความเป็นอยู่อันน่าทุกขเวทนาของประชาชนในถิ่นทุรกันดาร ที่ต้องประสบกับโรคภัยไข้เจ็บ เช่น โรคผิวหนัง โรคพยาธิ โรคเกี่ยวกับทางเดินอาหาร และไข้ป่า เป็นต้น ซึ่งเป็นโรคพื้นฐานทั่วไป แต่ก็ไม่ได้รับการรักษาพยาบาลอย่างถูกต้อง ด้วยห่างไกลสถานพยาบาลมาก จึงทรงโปรดเกล้าฯ ให้แพทย์และพยาบาลที่ตามเสด็จฯ ตรวจรักษาชาวบ้านที่เจ็บป่วยด้วย
กระทั่งในปี พ.ศ. 2512 ทรงจัดตั้งหน่วยแพทย์เคลื่อนที่ และพระราชทานชื่อว่า “แพทย์อาสาสมเด็จพระบรมราชชนนี” หรือ พอ.สว. ซึ่งประกอบด้วย แพทย์ ทันตแพทย์ เภสัชกร พยาบาล เจ้าหน้าที่สาธารณสุข และสมาชิกสมทบที่เป็นประชาชนทั่วไป เดินทางไปให้การรักษาพยาบาลประชาชนตามถิ่นทุรกันดารที่ถนนเข้าไม่ถึง เดินทางโดยเฮลิคอปเตอร์และรถยนต์ในวันเสาร์และอาทิตย์ ซึ่งไม่มีเบี้ยเลี้ยงและเงินเดือนแต่อย่างใด ในการออกปฏิบัติงานครั้งแรกเกิดขึ้นเมื่อวันที่ 8 มีนาคม พ.ศ. 2512 ที่บ้านสามหมื่น อ.เชียงดาว จ.เชียงใหม่
ต่อมาในปี พ.ศ. 2516 ทรงจัดตั้ง “แพทย์อาสาฯ ทางอากาศ” ขึ้นอีกหน่วยงานหนึ่ง โดยใช้วิทยุสื่อสารติดต่อกันระหว่างแพทย์และคนไข้ ทำให้ประชาชนในถิ่นทุรกันดารที่เดินทางลำบากสามารถปรึกษาอาการเจ็บป่วยกับแพทย์ผู้เชี่ยวชาญที่อยู่ในโรงพยาบาลใหญ่ ๆ ในเมืองได้ ซึ่งต่อมาได้โอนย้ายงานไปให้กระทรวงสาธารณสุขที่ดำเนินการควบคู่กันไปด้วยดูแลและพัฒนากิจการต่อ
และในวันที่ 21 พฤษภาคม พ.ศ. 2517 ทรงให้จดทะเบียน “มูลนิธิแพทย์อาสาสมเด็จพระศรีนครินทราบรมราชชนนี” โดยพระราชทานพระราชทรัพย์ส่วนพระองค์เป็นทุนตั้งต้น 1 ล้านบาท และในการเสด็จฯ เยี่ยมราษฎรในจังหวัดต่าง ๆ ก็จะเสด็จฯ เยี่ยมแพทย์อาสาในจังหวัดนั้นด้วย โดยจะเสด็จฯ เป็นองค์ประธานในการประชุมสมาชิก พอ.สว. และทรงทักทายอาสาสมัครอย่างเป็นกันเอง เมื่อเสด็จเยี่ยมการออกหน่วยของ พอ.สว. ก็จะทรงทักทายและสอบถามอาการของคนไข้อย่างห่วงใยและไม่ถือพระองค์เลย
การออกปฏิบัติงานของแพทย์อาสา ทุกคนจะสวมเสื้อสีเทา กระเป๋าเสื้อสีเขียว มีเครื่องหมายของหน่วยแพทย์อาสาฯ เป็นภาพที่คุ้นเคยของชาวบ้าน จึงเรียกกันติดปากว่า “หมอกระเป๋าเขียว” ทำให้ชาวบ้านให้การต้อนรับ ให้ความร่วมมือ และไม่มีกลุ่มใดคิดร้ายกับแพทย์อาสาฯ เลย ซึ่งการออกหน่วยแต่ละครั้งนอกจากจะรักษาพยาบาลราษฎรที่เจ็บป่วยแล้ว หากหน่วยแพทย์อาสาไม่สามารถรักษาพยาบาลได้ ก็จะมีการส่งตัวไปยังโรงพยาบาลต่อไป รวมถึงมีการแนะนำให้ความรู้เกี่ยวกับการใช้ชีวิตอย่างถูกสุขลักษณะแก่ประชาชนด้วย
สมเด็จเจ้าฟ้าฯ กรมหลวงนราธิวาสราชนครินทร์ พระธิดาผู้ทรงสืบสานงาน พอ.สว. หลังจากสมเด็จพระศรีนครินทราบรมราชชนนีสวรรคตไปแล้ว ได้พระราชทานคำปรารภ ในหนังสือสมเด็จย่าของปวงชน ทรงกล่าวถึง พอ.สว. ไว้ว่า “มูลนิธิ พอ.สว. นี้ เป็นเหมือนเด็กที่ทรงเลี้ยงมาตั้งแต่แบเบาะ ทรงวางแผนด้วยพระองค์เองตลอด บางครั้งก็ทรงดีพระทัยเมื่อผลงานออกมาดี บางครั้งก็ทรงเป็นห่วง เมื่ออนาคตยังมองไม่เห็นชัด บัดนี้ พอ.สว. ก็บรรลุนิติภาวะแล้ว แต่แม่ทุกคน ถึงแม้ว่าลูกจะเติบโตเพียงใดก็ตาม จะมีความผูกพันห่วงใยอยู่ตลอดไป เช่นเดียวกัน สมเด็จพระศรีนครินทราบรมราชชนนีก็ทรงมีความผูกพันห่วงใยมูลนิธิ พอ.สว. อยู่เสมอไป”
หลังจากสมเด็จเจ้าฟ้าฯ กรมหลวงนราธิวาสราชนครินทร์ สิ้นพระชนม์ไปแล้ว สมเด็จเจ้าฟ้าฯ กรมพระศรีสวางวัฒนฯ พระนัดดา ได้ทรงรับสืบสานงาน พอ.สว. จนถึงปัจจุบัน