Né en Écosse en 1800, James Ferrier s’établit à Montréal en 1821. N’ayant que peu de moyens et d’instruction, il travaille d’abord comme commis. Il fonde ensuite le premier magasin de la rue Notre-Dame, et fait fortune comme commerçant avant de se lancer dans le domaine bancaire, le secteur ferroviaire et le développement industriel.
Il se taille aussi une place de choix sur la scène politique, d’abord à titre de maire de Montréal en 1845, puis de sénateur. De 1845 à son décès, en 1888, il siège à titre de membre de l’instance dirigeante de McGill et préside, de 1847 à 1852, l’Institution royale pour l’avancement des sciences. À cette dernière fonction, il contribue à la stabilisation des finances de l’Université.
En 1884, il devient le deuxième chancelier de l’Université, succédant à Charles Dewey Day.