Poseía don Juan una gran colección de Objetos musicales y hasta "pretendía haber descubierto una nueva ciencia musical": y es cierto que logró reunir "un maravilloso museo o colección de las obras de arte y objetos más peregrinos que pudiera imaginar el más curioso". Reunir todo esto requería de una gran fortuna que logró, entre otros, de los beneficios otorgados por el cardenal Niño de Guevara. Vicencio Carducho dijo de la riqueza de este montañes: "tiene cosas singularísimas y dignas de ser vistas de cualquier persona docta y cusiosa (además de las pinturas); porque siempre se preció de la más excelente y singular que ha podido hallar sin reparar en la costa que se le podía seguir, preciándose de recoger lo más acendrado y extraordinario. Allí vi dos libros dibujados y manuscritos de mano del gran Leonardo da Vinci, de particular curiosidad y doctrina... En particular tiene cosas de marfil de tanta sutileza, que apenas puede la vista percibirlas y alcanzar el jucio de los hombres el modo que tuvieron en hacer cosas tan menudas".

Tenía fama de nigromante, este don Juan, de personaje misterioso, temido y admirado y fueron muchos los autores de la época que hablaron de él y lo hicieron incluso personaje de sus diálogos y comedias. A su muerte, acaecida en 1643, el P. Sebastián González escribió sobre don Juan: "...era humor peregrino y su casa parecía encantada. No tenía quien le sirviese; dábanle la comida por un torno. Para ver de entrar en su casa era menester gran favor y no todos lo conseguían..." Murió siendo clérigo. Todo esto y mucho más encierran las paredes de ese palacio solitario y misterioso todavía.

Mann Sierra