Josiah Harmar est né le 10 novembre 1753 à Philadelphie en Pennsylvanie et fit ses études dans une école Quaker.
Josiah Harmar commença sa carrière pendant la Révolution américaine, il reçut le grade de capitaine en 1775. Il servit sous les ordres de George Washington et de Henry Lee pendant la guerre et y prouva ses compétences militaires. A la conclusion de la guerre il fut nommé colonel. Après ratification par le Congrès Continental en 1784, Harmar fut chargé de porter le Traité de paix en France au commissaire Benjamin Franklin.
Après la guerre, le Congrès dirigea les troupes fédérales d' Harmar à la frontière de l'Ohio, afin de protéger les colons des attaques Indiennes. Plusieurs fois, il fit état de fournitures insuffisantes pour ses troupes, et passa la plupart de son temps au Congrès pour obtenir des équipements pour ses hommes.
Harmar fut cadre dirigeant dans l'Armée des Etats-Unis de 1784 à 1791 et reçut le commandement du Premier Régiment Américain en 1794. Il signa le Traité de Fort McIntosh en 1785. Harmar fut promu brigadier general en 1787.
En 1785 , il fit construire le Fort Harmar (près de l'actuel Marietta) pour procéder à des stocks de matériel et de vivres. Il espérait ainsi décourager les Indiens de rentrer dans l'Ohio. Il obtint un petit succès du fait que les mouvements vers l'Ohio avaient diminués. Pendant ce temps, ses troupes essuyaient de petites escarmouches Indiennes.
En 1790, il fut envoyé en expéditions contre les Indiens et inciter les Britanniques à rester dans le Territoire du NordOuest. Après quelques succès au début, sa force de soldats fédéraux fut battue par une coalition tribale emmenée par Michikinikwa (Little Turtle) lors d'un engagement connu sous le nom de Bataille de Kekionga ou Défaite d'Harmar.
En 1791, les troupes de Josiah Harmar stationnèrent à Fort Washington. Il les mena vers le nord, vers les campements Indiens, et y massacra beaucoup d'Indiens, en brûlant toutes leurs possessions. Emu par cet acte qui n'entrait pas dans le protocole militaire, le public amena Harmar devant une cour martiale. Une fois les procédures terminées, Harmar prit sa retraite militaire et rentra à Philadelphie. Harmar fut remplacé par le General Arthur St Clair.
Josiah Harmar est décédé à Philadelphie, dans sa propriété appelée "The Retreat", le 20 août 1813.
Il est enterré à Saint James of Kingsessing Churchyard à Philadelphie