Cerita seputar Vihara Thay Hin Bio lainnya IDN Times himpun dulunya cetiya. Mulanya, Po Heng dari Tiongkok datang membawa patung Dewi Kwan Im 1850 silam. Patung tersebut menarik perhatian masyarakat, sehingga muncul gagasan untuk membangun tempat ibadah yang dapat digunakan bersama–sama. Akhirnya, pada tahun yang sama, masyarakat sekitar bersama – sama membangun cetiya yang diberi nama Avalokiteswara.
Cettya Avalokiteswara dulu dibangun di tempat yang sekarang menjadi lokasi Gudang Agen. Imbas banjir akibat letusan Gunung Krakatau 1883, bangunannya rusak, sehingga patung sang Dewi harus dipindahkan. Pemindahan patung dilakukan oleh Po Heng. Ia membawa patung tersebut ke tempat yang disebut “tanjakan residen”. Tiga belas tahun kemudian pada 1896, cettiya yang baru didirikan di tempat ini. Cetiya tersebut diberi nama Kuan Im Thing atau persinggahan Dewi Kuan Im.
Pembangunannya dibiayai oleh masyarakat. Mereka menggalang dana kemudian menyerahkannya pada Yayasan Mahopadi. Yayasan inilah yang kemudian membangun cetiya Kuan Im Thing. Pada 1 Oktober 1898, pemerintah Belanda mengeluarkan izin bangunan. Sejak itu, jalan di depan cettiya disebut jalan Kelenteng.