Il Castello di Andraz era anticamente collegato ad altri fortilizi per assicurare un controllo completo sulle vie di comunicazioni che passavano per il Falzarego.
La sua struttura architettonica è particolare per il fatto di sorgere su uno sperone di roccia. Si accedeva alla rocca attraverso una scala esterna in legno, mentre i rifornimenti venivano sollevati tramite un argano.
Presso l’ingresso si trovava una cappella dedicata a San Raffaele il cui altare ligneo è attualmente conservato nella chiesa di Andraz. Il castello è stato sottoposto nel corso dei secoli a varie ristrutturazioni a volte, come nel 1488-89 e nel 1516, a causa di incendi.
Durante il conflitto della Prima Guerra Mondiale venne bombardato dalle postazioni austriache sul Col di Lana, infatti questa zona fu teatro di scontri molto cruenti.