La Rábita debe su nombre a la construcción del ribat o fortaleza-monasterio, ya que en la época nazarí esta población se constituyó como punto estratégico de defensa en la costa. En los alrededores del castillo fue conformándose y creciendo la población de La Rábita, y en el siglo XVIII se construyeron las Torres Vigía de Punta Negra, Rábita y Huarea, con lo cual la defensa marítima de esta población quedó fortalecida y ampliada.
Actualmente la torre vigía mejor conservada es la Torre de La Rábita, desde la cual además se divisa el horizonte marítimo.
Perteneciente a la frontera marítima del reino de Granada, se compone de tres partes bien diferenciadas; las dos primeras son de obra árabe reformada en el siglo XVI, compuesta por un recinto de planta trapezoidal, con patio central y delimitado por murallas con adarve y peto alto con troneras y un gran torreón adosado al Norte, ambos parecidos estructuralmente al cercano Castillo de Castell de Ferro; la otra, construida en el siglo XVIII y situada al Sur de la anterior, está formada por un baluarte con dos torres ataluzadas, preparado para tener artillería.
El hecho de que hasta hace poco tiempo se siguiera utilizando este castillo como casa cuartel de la Guardia Civil, hace que no se haya podido visitar con detenimiento, ni tomar medida alguna. Un camino en rampa, situado al Este, lleva a la puerta de acceso por la que se pasa al patio del recinto trapezoidal. Desde este patio, estrecho, alargado y en forma de L, se entra a las naves laterales destinadas a vivienda que se sitúan adosadas a las murallas, teniendo en su extremo norte, las escaleras de subida al adarve, desde el que se accede a la torre.
Este gran baluarte, de planta sensiblemente cuadrada con las esquinas redondeadas, por su altura debe disponer de tres plantas, accediéndose a él por la intermedia a través de un puente levadizo, ahora inexistente, pero del que quedan los agujeros de los mecanismos de elevación y el rehundido en el paramento de la fachada para el acople del tablero. Son visitables sólo la primera y la segunda, estando ambas formadas por una habitación cubierta por bóveda de cañón, una chimenea y la caja de la escalera para subir a la planta siguiente. La baja, posiblemente corresponde con un aljibe, si bien no se ha podido comprobar. Sobre la torre hay una terraza, con peto muy alto en la zona Norte. Tanto las murallas del cuerpo destinado a viviendas como la torre, están construidas con gruesos muros de mampostería y enfoscadas con mortero de cal. Sólo el muro orientado al Oeste, aunque también de mampostería, tiene características distintas ya que parece que fue reconstruido en el siglo XVIII.
La parte del baluarte Sur, corresponde a los conocidos como de herradura, construidos en el siglo XVIII, en época de Carlos III. Está construido con muros ataluzados de mampostería, teniendo las esquinas reforzadas con sillería. Sobre ella hay una terraza, cuyo peto apoya en una moldura de piedra.
