ต่อมาในพุทธศตวรรษที่ 13 มีหลักฐานปรากฏว่าเมืองนี้ได้รวมกับอาณาจักรศรีวิชัย เมื่ออาณาจักรนี้เสื่อมลง จึงแยกออกเป็น 3 เมือง คือ เมืองไชยา เมืองท่าทอง และเมืองคีรีรัฐ ขึ้นต่อเมืองนครศรีธรรมราช ต่อมาในรัชสมัยของพระบาทสมเด็จพระจอมเกล้าฯ เจ้าอยู่หัว โปรดฯ ให้ย้ายเมืองท่าทองมาตั้งที่บ้านดอน และยกฐานะเป็นเมืองจัตวาขึ้นตรงต่อกรุงเทพฯ พระราชทานนามว่าเมือง “กาญจนดิษฐ์” ครั้นเมื่อมีการปกครองแบบมณฑล ได้รวมเมืองทั้งสามเป็นเมืองเดียวกันเรียกว่า เมืองไชยา ต่อมา พ.ศ. 2458 รัชกาลที่ 6 โปรดฯ ให้เปลี่ยนชื่อเมืองไชยา มาเป็นเมืองสุราษฎร์ธานี แปลว่า เมืองแห่งคนดี