“ เมื่อครั้งเกาะภูเก็ตยังไม่ได้แยกออกจากแผ่นดินใหญ่ เกาะยาวก็ยังเป็นเกาะที่มีขนาดใหญ่ขนาดเดียว จนกระทั่งได้มีการแต่งงานขึ้นระหว่างโต๊ะตรีและนาคนุ้ย ที่อ่าวพระนาง จ.กระบี่ ขบวนขันหมากใหญ่โตยกขบวนมาจากเลประหวันออก (ทะเลทางทิศตะวันออก) เมื่อนาคใหญ่รู้เข้าก็เกิดความโกรธแค้นเพราะหมายปองโต๊ะตรีด้วยเช่นกันนาคใหญ่เลื้อยตามติดขบวนขันหมากของนาคนุ้ย เมื่อขบวนขันหมากเลื้อยผ่านเกาะภูเก็ตก็เลื้อยตัดแผ่นดินทำให้เกาะภูเก็ตแยกออกมาจากแผ่นดินใหญ่และต่อมาเลื้อยผ่านเกาะยาว ก็ทำให้เกาะยาวขาดออกจากกันเป็นเกาะยาวน้อย และเกาะยาวใหญ่ และเกิดการต่อสู้ระหว่างนาคใหญ่และนาคนุ้ย ท่อนลำตัวท่อนหัว หางและข้าวของในขบวนขันหมากกระเด็นกระจัดกระจายออกไปกลายเป็นเกาะกาหลาด แหลมหางนาค แหลมหมุกควาย เกาะเภตรา แหลมโต๊ะศรี เกาะกวาง เกาะปอด เกาะพีพี…ฯ”
และมีเรื่องเล่าต่อมาอีกว่าบรรพบุรุษชาวเกาะยาวได้อพยพมาจากชายฝั่งเมืองตรัง เมืองสตูล และเมืองอื่น ๆที่อยู่ชายฝั่งทะเลด้านตะวันตกของประเทศไทยเมื่อครั้งสมัยต้นกรุงรัตนโกสินทร์ ประมาณปี พ.ศ. 2328 คราวพม่ายกทัพมาตีหัวเมืองต่างๆทางภาคใต้และตีได้หัวเมืองตามชายฝั่งทะเลด้านตะวันตก จนกระทั่งได้พบเกาะยาวน้อยเกาะยาวใหญ่และเห็นว่าสองเกาะนี้เป็นทำเลที่เหมาะสมที่จะหลบภัยได้ดีจึงได้ยึดเป็นที่หลบภัยและตั้งหลักแหล่งทำมาหากิน
ก่อนปี พ.ศ. 2446 เกาะยาวแบ่งการปกครองเป็น 2 ตำบล 24 หมู่บ้าน ขึ้นอยู่กับอำเภอเมืองพังงา มีนายบ้าน (กำนัน) เป็นผู้ดูแลใกล้ชิดราษฎร การเดินทางสมัยนั้นใช้เรือแจวหรือเรือใบและต้องใช้เวลาในการเดินทางหลายชั่วโมงหรือหลายวันหากเป็นฤดูมรสุม
อำเภอเกาะยาว ตั้งอยู่บนเกาะในมหาสมุทรอินเดีย มีเกาะเล็กเกาะน้อยอยู่ในเขตการปกครองทั้งหมดจำนวน 44 เกาะ แบ่งเป็น ตำบลเกาะยาวใหญ่ ตำบลเกาะยาวน้อย และตำบลพรุใน รวมทั้งหมดมี 18 หมู่บ้าน
อำเภอเกาะยาวมีสภาพดินฟ้าอากาศเหมือนกับจังหวัดภูเก็ต แบ่งออกเป็น 2 ฤดูกาล คือ ฤดูร้อนและฤดูฝน สภาพอากาศในฤดูร้อนไม่ร้อนนัก เนื่องจากได้รับลมจากทะเลตลอดฤดูกาล ส่วนในฤดูฝนได้รับลมมรสุมตะวันตกเฉียงใต้จากมหาสมุทรอินเดีย ทำให้มีฝนตกชุกตลอดทั้งปี โดยเฉพาะพื้นที่บริเวณหุบเขา ฤดูร้อนเริ่มจากเดือนพฤศจิกายน-เมษายน ฤดูฝนเริ่มจากเดือน พฤษภาคม-ตุลาคม
การเดินทางระหว่างอำเภอเกาะยาวกับแผ่นดินใหญ่สามารถเดินทางได้หลายวิธี
– จากตำบลเกาะยาวน้อยถึงท่าด่านศุลกากร จังหวัดพังงา มีเรือโดยสารประจำวัน วันละ 1 เที่ยว
– จากตำบลเกาะยาวน้อยถึงท่าเรือบางโรง จังหวัดภูเก็ต ใช้เดินทางสำหรับผู้ที่ต้องการเดินทางไปภูเก็ตหรือจังหวัดอื่นๆ มีเรือเดินทางจากท่าเรือเกาะยาวน้อยและเกาะยาวใหญ่ไปยังภูเก็ตไป – กลับตลอดทั้งวัน
ส่วนการคมนาคมระหว่างเกาะยาวน้อยกับเกาะยาวใหญ่ มีช่องแคบคั่นกลาง ระยะทางประมาณ 3 กิโลเมตร มีท่าเทียบเรือที่ตำบลเกาะยาวน้อย คือ ท่าเทียบเรือท่ามาเนาะห์ส่วนเกาะยาวใหญ่มีท่าเทียบเรือที่บ้านช่องหลาด บ้านคลองเหีย และโล๊ะจาก
หากเป็นการคมนาคมภายในเกาะยาวน้อย ชาวบ้านใช้การเดินเท้า รถจักรยานและรถจักรยานยนต์เป็นหลักในการติดต่อระหว่างหมู่บ้าน และยังมีรถยนต์หรือรถบรรทุกใช้ในการบรรทุกของ และใช้จักรยานยนต์ดัดแปลงเป็นรถสามล้อพ่วงข้างสำหรับขนส่งผลผลิตต่างๆ