Es el "infante", según expresión cabal de Raúl Andrade, de la triada de los "decapitados". Fue a París por razones de salud, en donde leyó, en su lengua, a los grandes poetas parnasianos y simbolistas. El suicidio de Borja trastornó a sus contemporáneos. Hecho que al decir del poeta Mario Campaña "interrumpió una evolución notabilísima en su obra poética, que va desde las percepciones de una sensibilidad delicada y fina hasta los adentramientos en el mundo tortuoso de lo onírico del "Misterio". Su obra tiene como cualidades, las siguientes:
Sus primeras composiciones respiran un poco de optimismo como en su poema Idilio estival. La melancolía va cubriéndolo como un manto siniestro y constituye una segunda temática de sus composiciones. A esta posición de su alma sigue una profunda desesperación que se verá transfigurada en el deseo de muerte y en su obsesión con ésta.
Las figuras literarias le vienen a la mano como quien llama a las aves caseras para alimentarlas. Con aquellas manifiesta dolorosamente su estado de ánimo, sus pensamientos desesperantes, sus angustias y algunos claros agradables de su vida.
Se distingue por la pulcritud en la forma y la variedad exótica de sus versos.