Högfors nämns enligt källorna första gången 1464 då Svarte Sigge Jönsson ägde hyttan. Men produktionen vid bruket började på allvar 1545 då Gustav Vasa gav rätten till två västeråsare, Peder Olsson och Lasse Mortensson att få anlägga en stångjärnshammare i Högfors. Egendomen ägdes då av riddaren Birger Nilsson Grip i vars släkt den hade funnits i generationer (han tillhörde en avknoppning från familjen Bonde. Birgers farfar var syssling till Karl Knutsson Bonde). Birger hade utnämnts till riksråd 1527 och dubbades till riddare vid Gustav Vasas kröning ett år senare. Men de ambitiösa västeråsarna fick alltså sätta igång med produktionen. Här kan man läsa brevet från Gustav
1565 gick Högfors vidare till Birgers son Moritz som hängde vid Johan IIIs hov och som också var fältherre. Han ledde bland annat ett misslyckat tåg mot Ryssland och ägnade sig mer åt hovliv än järnproduktion. Moritz hade endast döttrar och de umgicks i den sociala eliten i Sverige. En dotter Ebba var t ex gift med Svante Banér som var bror till den kände fältherren Johan Banér. Men intresset för järnindustrin var kanske inte så stort hos döttrarna heller och 1615 sålde dottern Elisabeth gården till Moritz kusin Magnus Brahe.
Magnus Brahe var son till den kände Per Brahe dä och farbror till Per Brahe dy. Han var greve, riksmarsk, riksdrots mm. Men det sägs att han inte jobbade särskilt flitigt i politiken utan mer ägnade sig åt att sköta godsen. Om man tillhörde rätt familj så var det uppenbarligen lätt att få framskjutna ämbeten. Hans egentliga gård var precis som för alla Braharna Visingsborg vid Gränna så han var nog inte så mycket i Högfors.
Magnus Brahe hade en berömd dotter, Ebba Brahe. Hon var hovdam och ungdomsflamma till Gustav II Adolf som hon ville gifta sig med. Kungafamiljen motsatte sig emellertid ett bröllop mellan Ebba och Gustav Adolf så hon gifte sig istället med den mycket kände riksmarsken mm Jacob De la Gardie. Paret verkar ha haft ett rätt så stort engagemang i Högfors och De la Gardie lät bygga den första herrgården. De byggde också ut produktionen i Högfors 1633 med en hammare och två härdar. Ebba Brahe drev på äldre dagar Högfors vidare ensam och beslutade om investeringar i en ”fransysk” masugn, två stångjärnshamrar och fyra härdar mm.
Ebba bodde så klart inte i Högfors utan främst i palatset Makalös i Kungsträdgården och senare i det palats på Götgatan i Stockholm som fortfarande finns kvar. Dessutom byggde paret Ulriksdals slott (då hette det Jacobsdal) och de ägde Läckö slott och många andra gårdar. Men hon verkar ha haft ett stort intresse för järnbruken som hon ägde och var engagerad i att järnet som producerades var av hög kvalitet. Det var allmänt känt och en kvalitetsstämpel.
En av sönerna Pontus Fredric De la Gardie (bror till den mer kände Magnus Gabriel) tog sedan över Högfors 1674. Han var militär, bla guvenör i Skåne och gift med den kraftfulla Beata Elisabeth von Königsmarck. Hon, som kom från en fin tysk familj, hade precis som Ebba Brahe ett intresse för järndriften. I praktiken drev hon som ägare Högfors upp i hög ålder. Deras dotter Johanna Eleonora gifte sig med sin kusin Eric Gustaf Stenbock (dotterson till Ebba Brahe). Dessa verkar heller inte ha varit särskilt engagerade i bruket – Eric Gustaf var ute och krigade och var kammarherre i Stockholm. Deras dotter Hedvig Christina blev föräldralös som ganska ung men bodde på Svanå med sin man greve Arvid Posse. Så det var Beata Elisabeth von Königsmarck som fick fortsätta att hålla i trådarna.
Arvid Posse som tog över ägandet vid arvet 1724, var en framstående militär under Karl XII. Han blev fånge vid Poltava men lyckades fly efter ett par år i fångenskap. Han var även som chef för Livgardet med vid Fredrikshald när kung Karl blev skjuten. Efter fälttågen fick Arvid olika höga befattningar i Stockholm och verkar mest ha ägnat sig åt dessa uppgifter.
Under denna tid sköttes förvaltningen av Högfors av Johan Cosswa som bodde där. Cosswa var född i Nora av gammal vallonsläkt från Bergslagen som ursprungligen invandrade till Finspång. Han hade familj, barnen föddes på Högfors och han verkar ha skött bruket väl. Cosswa sägs ha velat ta över ägandet av bruket men fick aldrig göra det. Han var själv inte adlig men sonen Mikael som föddes på Högfors adlades till greve Anckarsvärd efter en brokig karriär inom det militära.
1749 sålde Posse till Sara Wittfoth g m Isaac Clason som var grosshandlare och riksdagsman, medlem av Hattpartiet. Clasons senare släkting Isak Gustav Clason var en känd arkitekt som ju har byggt några av de spektakulära villorna i Ängelsberg och hade då gamla familjeband till trakten. Sara W lämnade direkt över ansvaret till tvillingbrodern Gustaf som flyttade in i Högfors men som också direkt sålde en tredjedel till den förmögne grosshandlaren Christian Hebbe, antagligen för att få en finansiell partner i verksamheten. Hebbe som invandrat till Sverige tillhörde den sk Skeppsbroadeln i Stockholm och drev ett handelshus med sina söner på just Skeppsbron, där det Hebbeska huset står kvar på nr 36. Han var även bl a partner i Ostindiska Kompaniet.
Hebbes del ärvdes sedan av sonen Anders Hebbe 1762, som kom att betyda mycket för Högfors bruk. Gustaf Wittfoth var fortfarande en aktiv ägare och bodde på Högfors till 1768 då han flyttade till Gysinge och sålde hela sin del av Högfors till Anders Hebbe som då blev ensam ägare. I köpet ingick även Persbo bruk, men Hebbe flyttade smidet som bedrevs i Persbo till Högfors. Anders Hebbe som verkar ha varit en schysst patron hade enligt historien så korta armar att han var tvungen att ha specialbyggda bestick för att kunna äta. Trots detta så gifte han sig 1777 med Anna Catharina Timm som kom från en annan västmanländsk godsägarfamilj. Hebbe var ju född i en välbärgad familj men förvaltade kapitalet väl och ägde ett antal bruk och herrgårdar, bl a Säbyholm i Uppland. Han köpte 1788 Engelsberg som senare blev fideikommiss i fruns familj. Anders Hebbe levde ända till 1825 och bodde de sista åren på Ådö Herrgård. Han var en väldigt förmögen man som skänkte stora summor till välgörenhet till hjälp för fattiga i Norberg och Karbenning men även institutioner i Stockholm.
Efter Anders Hebbe övertogs Högfors bruk 1825 av Hebbes frus brorson Gabriel Casper Timm från gården Simla (Semla) nära Västanfors i nuvarande Fagersta. Han sålde efter några år bruket vidare till brukspatronen i Fagersta Salomon von Stockenström som expanderade sin verksamhet. von Stockenström satsade hårt och byggde också ut Högfors med en stålugn, två manufakturstockar, två kniphamrar och två spikhamrar. von Stockenström var en tung bruksägare i Västmanland på den här tiden (senare kollapsade imperiet). Han tog över Fagersta bruk 1814 från sin far och förvärvade senare även Semla och Västanfors.
Högfors ägdes från 1851 av brukspatron Axel Ulric Björkman en kortare tid och ärvdes sedan av hans näst äldsta dotter Josefina Björkman. Hon var gift med landshövdingen i Norrbotten friherren Knut Åkerhielm af Blombacka. När Maria blev änka (hon levde till hög ålder ända till 1908) startade familjen 1880 ett bolag, Högfors och Persbo AB för driften av bruket. VD för bolaget blev den senare riksdagsmannen och talmannen Hugo Hamilton som var ihop med Åkerhielms dotter Elvine som han gifte sig med. Hugo H blev så småningom även förste chef för Patentverket, Landshövding i Gävleborg och civilminister mm.
1917 sålde familjen Åkerhielm Högfors bruk till Axel Johnson och Avesta Jernverk AB. Då hade man just byggt en ny masugnsanläggning som man fortfarande kan se ruinen av. Bruket drevs fram till 1953 då det lades ned.
Herrgården behölls av familjen efter försäljningen av bruket och Hugo Hamilton bodde delvis där med sina barn (som landshövding i Gävleborg bodde han och familjen främst på slottet i Gävle).