Amikor a németek szembekerültek a szovjet tankokkal a Pak 38-as volt az egyike azoknak a korai lövegeknek, amelyek alkalmasak voltak biztonságos távolságból átütni a T–34 45mm-es páncélzatát.

1940-ben a 3,7 cm PaK 36 páncéltörő ágyú, amely a páncélok vastagságának növekedésével teljesen elavulttá vált ezért megérett a leváltásra. A Rheinmetall-Borsig AG mérnökei tudták a löveg korlátozott páncélátütő-képességét ezért 1937-ben hozzáláttak egy új páncéltörő ágyú kifejlesztésébe amelynek eredményeként 1938-ban megjelent az 5 cm KwK L60 Pak 38. A fegyvert 1939-ben kezdték el gyártani a német hadsereg számára de nem volt elég kiszállítási kapacitás ezért csak 1940 nyárának közepén kerültek ki az első példányok a csapatokhoz. 1941-re A Barbarossa hadművelet kezdetén ez lett a német Wehrmacht rendszeresített páncéltörő ágyúja.

A gyártás terén azonban a hadiipar nem tudta az igényeket kielégíteni hogy kitöltsék a frontvonal igényeit, ezért a csatatereken még egy ideig használtak francia Canon de 75 modéle 1897 75 mm-es ágyúkat is. Egyetlen fegyver ára 10 600 birodalmi márka volt (összehasonlításképpen a 2,8 cm schwere Panzerbüchse 41 páncéltörő ágyú 4520 birodalmi márkába került).

A Pak 38 egy jól megtervezett ágyú ívelt pajzzsal és acél keréktárcsákkal, amelynek érdekessége hogy telepítéskor leszedhették róla a kereket így kisebb lett a sziluettje és könnyebb volt elrejteni. Könnyű súlya miatt könnyen mobilizálható, általában 1 tonnás féllánctalpas járművek vontatták. A futómű torziós felfüggesztést kapott és szabványos nyomtávú volt. Az ágyúcsövet könnyű ötvözetekből gyártották és csőszájfékkel is ellátták a nagyobb tűzerő érdekében. Az ágyú tervezésekor figyelembe vették a kezelők igényeit ennek köszönhetően könnyen kezelhető lett. Ezen felül, a löveghez használni lehetett a Panzergranate 40 APCR lövedéket, amelyek volfrám-karbid maggal volt ellátva, így képes volt átütni a nehezebb KV–1 harckocsik páncélzatát is. A hozzá rendszeresített új típusú volfrám-üreges lőszert egy lefoglalt cseh páncéltörő lövedék mintájából készítették amely tökéletesen bevált. A sűrű volfrám lényege, hogy nagyobb a szakítószilárdsággal bír (még magas hőfokon is) mint az acél lövedék így vastagabb homogén páncélzatot is képes átégetni. Habár a löveg gyorsan elavulttá vált mivel a volfrámból egyre kevesebb volt ezért felváltották a normál lőszert használó erősebb típusok. Használhatóságát mi sem jelzi jobban hogy hadrendben tartották a Wehrmacht egységeinél egészen a háború végéig különösen az Atlanti-fal védelménél mint partvédelmi üteg. Utódjaként a 7,5 cm PaK 40 típusú löveg követte.

A németek kísérleteztek azzal, hogy a löveget beépítik repülőkbe mint egy nehéz repülőgép fegyvert. Egyik változata a Messerschmitt Me 262 sugárhajtású vadászgép főfegyvere lett volna de a tervet végül elvetették. Később ugyanezt a fegyver egy földre telepített légvédelmi ágyúként akarták használni, de a háború vége felé az idő rövidsége miatt úgy tűnik, hogy egyet sem állítottak elő belőle. Számos lánctalpas modell köztük a híres Sd.Kfz. 234azaz a Puma főfegyvere volt ahol kiválóan helytállt. Továbbá a brit hadsereg annyit szerzett belőle, hogy a háború után felújította és felhalmozta őket a későbbi konfliktusokhoz.