Según la leyenda, la figura religiosa del siglo XVI, Nirartha, profundamente influenciado por el hinduismo, viajó por Bali, Lombok y Sumbawa, difundiendo su enseñanza, y durante su viaje pasó una noche en esta roca en el mar. Se atribuye la fundación de Tanah Lot a él, y hoy en día, él mismo es venerado allí.

