Namun dalam bagian syair, lebih banyak detail ditambahkan pada penggambaran tentang kediaman Avalokiteśvara. Syair-syair pada akhir dari bab Veṣṭhila sebelumnya menyebutkan bahwa gunung Potalaka terletak “di tengah-tengah raja air yang penuh badai” (śirījalarājamadhye),[18] sebuah ciri khas yang penting yang tentunya memiliki pengaruh besar dalam pembuatan mitos-mitos dan legenda belakangan yang menghubungkan kediaman Avalokitesvara dengan lautan atau bahkan menggambarkannya sebagai sebuah pulau.[19] Dua baris berikutnya menggambarkan lingkungan dalam gunung itu secara umum dengan cara yang sama seperti yang dilakukan dalam bagian prosa tetapi menekankan pada lantai permatanya: ratnāmayaṃ taruvaraṃ kusuma-abhikīrṇam udyānapuṣkiriṇiprasravaṇa-upapetam ||[20] (“Terbuat dari permata-permata, yang dikelilingi oleh pepohonan, bertaburan dengan bunga-bunga, kebun, kolam dan sungai.”)
Dalam bagian syair di tengah bab Avalokiteśvara,[21] lautan atau jenis lain dari “air yang penuh badai” tidak disebutkan lagi. Namun kediaman sang Bodhisattva digambarkan sebagai “gunung permata” (ratnaparvata) dan tempat Avalokiteśvara di sini sebagai sebuah “gua” (kandara) pada “lereng intan dari gunung yang dihiasi dengan permata” (vajramaye giritaṭe maṇiratnacitre). Sebuah daftar makhluk-makhluk mitologi seperti “dewa” (deva), “setengah dewa” (asura), “setan ular” (bhujaga), “centaurus” (kinnara), dan “setan” (rakṣasa) ditambahkan sebagai bagian dari rombongannya.[22]
Sebutan “bijaksana” (dhīra) dan “pertapa” (ṛṣi) digunakan untuk Avalokiteśvara dalam syair-syair. Karena bagian syair dianggap sebagai penambahan yang belakangan, ia menjadi saksi atas perubahan yang muncul dalam penggambaran dan pemindahan suatu tempat indah yang semula nyata dan alami menjadi suatu alam yang mengandung intan yang melampaui duniawi. Bahkan lebih lagi, suatu petunjuk pada tanah Buddha Avalokiteśvara sendiri ditemuakn dalam bagian syair.[23]
Para penulis kuno dan modern telah berusaha mencari lokasi gunung Potalaka dalam wilayah geografis India. Bacaan yang paling terkenal berkenaan dengan hal ini, yang dikutip dan diteliti lagi dan lagi oleh para sarjana, adalah dari penggambaran Xuanzang (玄奘) tentang gunung Potalaka (Budaluojia shan 布呾洛迦山)[24] dalam Catatan tentang Dunia Barat-nya (Datang xiyu ji 大唐西域記):
“Ke timur dari gunung Malaya [Molaye shan秣剌耶山][25] terdapat Gunung Po-ta-lo-kia [Budaluojia shan 布呾洛迦山] (Pôtalaka). Jalan masuk gunung ini sangat berbahaya; lerengnya terjal, dan lembahnya tidak rata. Pada puncak gunung itu terdapat sebuah danau; airnya jernih seperti cermin. Dari sebuah lembah muncul sebuah sungai besar yang mengelilingi gunung itu seakan-akan ia mengalir dua puluh kali dan kemudian masuk ke laut selatan. Pada tepi danau itu terdapat sebuah istana batu para Dêva. Di sini Avalôkitêśvara [Guanzizai pusa觀自在菩薩] datang dan pergi mengambil tempat kediamannya. Mereka yang berkeinginan kuat untuk melihat Bodhisattva ini tidak mempedulikan nyawa mereka, tetapi, dengan menyeberangi air (mengarungi aliran sungai), mendaki gunung itu menjadi lupa akan kesulitan dan bahaya-bahaya; dari mereka yang berusaha ke sana sangat sedikit yang mencapai puncaknya. Tetapi bahkan mereka yang berdiam di bawah gunung itu, jika mereka dengan sungguh-sungguh berdoa dan memohon untuk melihat sang dewa, kadangkala ia muncul sebagai Tsz’-tsaï-t’ien [Zizaitian自在天] (Îśvâra-dêva), kadangkala dalam bentuk seorang yôgi [tuhui waidao塗灰外道] (seorang Pâṁśupata); ia menyapa mereka dengan kata-kata yang bermurah hati dan kemudian mereka memperoleh keinginan mereka berdasarkan harapan mereka.
Menuju ke timur laut dari gunung ini, pada perbatasan laut, terdapat sebuah kota kecil; inilah sebuah tempat di mana mereka memulai [perjalanan] ke laut selatan dan negeri Săng-kia-lo [Sengjialuo guo僧迦羅國] (Sri Lanka). Umum dikatakan oleh orang-orang bahwa naik kapal dari pelabuhan ini dan menuju ke tenggara sekitar 3000 li kita sampai pada negeri Siṁhala.”[26]
Kita tidak mengetahui apakah Xuanzang benar-benar mengunjungi tempat ini atau apakah catatannya berdasarkan hanya pada apa yang ia dengar dari orang-orang setempat.[27] Masih, dalam catatannya gunung Potalaka digambarkan sebagai tempat yang nyata di India Selatan dan kita diberitahukan bahwa perkiraan lokasi Potalaka adalah “ke timur dari gunung Malaya” tidak jauh dari laut. Itu pasti suatu tempat di Tamilnadu di India Barat Daya, tidak jauh ke utara dari ujung selatan India.
Kita juga mempelajari dari Catatan Xuanzang bahwa pada pertengahan pertama abad ketujuh suatu jenis pemujaan campuran Avalokiteśvara-Īśvaradeva (Śiva – ?) dipraktekan di gunung ini. Namun, kita tidak mengetahui apakah ini sesuai dengan praktek Mahāyāna aliran utama pada waktu itu atau apakah kita berhubungan dengan pemujaan lokal yang belum sempurna yang kurang lebih independen. Masih, apa yang Xuanzang katakan tampaknya mendukung teori tentang hubungan Avalokiteśvara-Śiva.[28]. Gaṇḍavyūha sendiri juga memberikan beberapa petunjuk tidak langsung yang mendukung teori ini karena kalyāṇamitra Sudhana berikutnya dipandu dari gunung Potalaka oleh Bodhisattva lain yang menemani Avalokiteśvara, Ananyagāmin, adalah dewa Mahādeva (Datian大天) yang berdiam di vihara besar di kota Dvāravatī.[29]
Di sini terdapat suatu masalah yang menarik bagi karya sarjana Jepang modern Shu Hikosaka. Berdasarkan studinya atas kitab suci Buddhis, sumber-sumber kesusasteraan bahasa Tamil kuno dan pertengahan, dan penelitian lapangan, ia mengemukakan hipotesis bahwa, gunung Potalaka kuno, kediaman Bodhisattva Avalokiteśvara yang digambarkan dalam Gaṇḍavyūha dan catatan Xuanzang, adalah gunung nyata Potikai atau Potiyil yang terletak di Ambasamudram di Distrik Tirunelveli, Tamilnadu, 8º 36´ lintang, 77º 17´ bujur. Dengan 2072,6 m, ia adalaah gunung tertinggi di barisan pegunungan Tinnevelly dari dermaga sungai.[30] Dalam karyanya, Shu juga menngembangkan suatu teori yang menarik tentang asal kata dari nama Potalaka. Menurutnya, nama asli Tamil Potiyil adalah suatu turunan dari bodhi-il, di mana bodhi adalah suatu pinjaman dari bahasa Ārya yang bermakna “agama Buddha dan umat Buddha”, dan kata Tamil il berarti “tempat, kediaman”. Dengan demikian keseluruhan nama itu menunjukkan “kediaman umat Buddha atau para pertapa Bauddha”. Kata kai dalam Potikai adalah bahasa percakapan sehari-hari dalam Tamil dan memiliki makna yang sama dengan “il”.[31] Dalam teks Mahāyāna Sanskrit dan Prakrit perubahan yang lain terjadi – il diterjemahkan kembali sebagai loka, “dunia atau tempat”. Dengan demikian Potalaka adlah suatu bentuk kesalahan dari Buddha-loka, “tempat para umat Buddha”.[32] Shu juga mengatakan bahwa gunung Potiyil/Potalaka telah menjadi tempat suci bagi orang-orang dari India Selatan sejak waktu yang lama sekali. Dengan penyebaran Buddhisme di daerah itu pada awal masa raja besar Aśoka pada abad ke-3 SM, tempat ini menjadi suatu tempat suci juga bagi umat Buddha yang perlahan-lahan menjadi dominan seraya sejumlah pertapa Buddhis tinggal di sana. Namun orang-orang setempat terutama tetap merupakan pengikut agama Hindu. Pemujaan Hindu-Buddhis campuran mencapai puncaknya dalam pembentukan figur Avalokiteśvara. Tetapi pemujaan Śiva Pāṃṣupata tetap populer juga dan bercampur dengan pemujaan Avalokiteśvara.[33]
Jika Shu benar, kemungkinan perkembangan historis yang masuk akal dari konsep dan penggambaran Avalokiteśvara bisa jadi sebagai berikut. (1) Pada masa pra-Buddhis, Gunung Potiyil/Potalaka dihormati sebagai sebuah tempat suci, kediaman para dewa dan para makhluk pelindung, oleh orang-orang setempat. Kita tidak tahu nama kuno aslinya. (2) Dengan penyebaran Buddhisme di India Selatan, tempat itu menjadi populer di antara umat Buddha karena banyak dari para pertapa Buddhis tinggal di sini. (3) Perlahan-lahan penghubungan dengan Buddhisme menjadi dominan dan nama baru Potiyil/Potalaka atau “Tempat para umat Buddha” secara populer digunakan. (4) Seraya umat Buddha mengajarkan belas kasih, ajaran baru itu bergabung dengan pemujaan lama seorang dewa pelindung menjadi sebuah pemujaan baru. Upaya sadar dari para penduduk Buddhis, yang mungkin bertanggung jawab untuk penciptaan dan perkenalan sebutan Avalokiteśvara juga, mungkin menjadi faktor menentukan yang melancarkan proses ini.[34] (5) Perlahan-lahan, konsep dan figur Avalokiteśvara menjadi terkenal secara universal dan dipuja semua umat Buddha dan menemukan jalannya ke dalam teks-teks dan seni arca sedangkan gunung Potalaka dimitologiskan seiring berjalannya waktu. (6) Kemenangan Hinduisme pada pertengahan kedua dari milenium pertama M membawa pada penyatuan pemujaan Avalokiteśvara dengan pemujaan dewa Hindu, misalnya Śiva.[35]
Gaṇḍavyūha tampaknya mencerminkan fase paling awal dari kultus baru Avalokiteśvara; Sūtra Teratai, Sukhāvatīvyūha, Amitāyurdhyānasūtra, Sūtra Hati adalah puncaknya dalam tradisi Mahāyāna, dan Śūraṅgama, Karaṇḍavyūha serta teks-teks Tantra (Dhāranī dan Sādhana) adalah perkembangannya yang belakangan.[36] Tetapi catatan Xuanzang tampaknya menggambarkan situasi ketika Buddhisme telah mengalami kemunduran di India dan motif-motif Hindu menjadi dominan lagi dalam kultus Avalokiteśvara di tempat awal mulanya.