Die Aufstellung und Ausbildung einer Kampfschwimmereinheit war im Deutschland des Zweiten Weltkrieges ein Mittel in der Not. Die erfolgsverwöhnte Kriegsmaschinerie mit ihrem hochmodernen Großgerät und technisch führender Ausrüstung gab den Verfechtern der konventionellen Kriegsführung keinen Anlass entsprechende Kräfte aufzubauen. Das Heranrücken der alliierten Truppenspitzen an das Reichsgebiet machten die Not der strategischen Lage des „Dritten Reiches“ im letzten Drittel des Krieges offenkundig und führte, gepaart mit Versorgungsknappheit an Mensch und Material, zu einem Umdenken. Mit der Aufstellung der Kleinkampfmittelverbände (K-Verbände) und der darin integrierten Kampfschwimmer schuf die Kriegsmarine ein ebenbürtiges Gegenstück zu den „Brandenburgern“ der Wehrmacht als einen hoch mobilen und respektablen Gegner der „Anti-Hitler-Koalition“.
Nach dem Vorbild der X-Crafts der britischen Royal Navy bestand der technische Kern der Kleinkampfmittelverbände aus bemannten Einmanntorpedos und ebenfalls mit Torpedos bewaffneten Kleinst-U-Booten. Zur Verwendung kamen Einmanntorpedos vom Typ „Neger“ und „Marder“, sowie die größeren U-Boot-Typen wie „Biber“ und „Seehund“. Ebenfalls fanden Sprengboote Verwendung, die nach Absprung des Fahrers mit fixiertem Steuer auf das Ziel zuhielten.
Die Kampfschwimmer bildeten in K-Verbänden den personell kleinsten Anteil. Die erste Kampfschwimmerausbildung wurde Ende 1943 durch die Abwehrstelle (militärischer Geheimdienst) in Hamburg durchgeführt. Die Einheit war eine reine Kampfschwimmereinheit mit dem Namen: Marineeinsatzkommando (MEK). Den Anfang der Ausbildung machten 30 Freiwillige, darunter kriegserfahrene und hochqualifizierte Soldaten der Küstenjägerabteilung der „Brandenburger“. Die in MEK „Marco“ und „Marei“ gegliederte Einheit sollte Haftminenangriffe gegen Schiffe, Brücken und Schleusen durchführen. Mit der Aufstellung der K-Verbände (offizielle Bezeichnung ab dem 20. April 1944) wurden die MEKs zusammengefasst und von der Abwehr an die Kriegsmarine, die nun die Leitung sämtlicher maritimer Sonderaufgaben übernahm, überstellt.
Als Kommandeur des Kommandos der Kleinkampfverbände (K.d.K.) setzte das Oberkommando der Kriegsmarine (OKM) Konteradmiral Helmuth Heye ein. Konteradmiral Heye diente bereits im Ersten Weltkrieg auf U-Booten, wurde in die Reichswehr übernommen und war zu Beginn des Zweiten Weltkrieges Kommandant des Panzerkreuzers „Admiral Hipper“ der Kriegsmarine. Nach Kriegsende wurde er von 1961 bis 1964 Wehrbeauftragter des Deutschen Bundestages und hatte Anteil an der Denkschrift von Himmerod. Die erste Ausbildung von Kampfschwimmern in der Kriegsmarine begann erst 1944. Unter den ersten Soldaten befanden sich auch Olympiasieger sowie Rekordhalter, die zu diesem Zeitpunkt in Kiel trainierten und mit Vorführungen Werbung für die Kriegsmarine betrieben. Erster Ausbildungsort wurde ein kleines Appenin-Städtchen namens Valdagno. Hier befand sich ein damals modernes Schwimmbad und eine für Olympiaathleten vorgesehene Sportstätte. Diese Einrichtungen wurden ebenfalls durch die Kampfschwimmer der italienischen Marine mit dem Tarnname Decima MAS (10. Schnellbootflottille) genutzt. Im Anschluss verlegten die Soldaten zur weiteren Ausbildung auf die Insel Alga in der Lagune von Venedig.
Die Ausbildung wurde streng an das erbeutete Ausbildungskonzept der britischen „Commandos“, einer Sondereinheit, die hinter feindlichen Linien operierte, angepasst. Die hohe Qualität und umfassende Ausbildung wurde dadurch gewährleistet, dass die Wehrmacht fronterfahrene Ausbilder der Pioniere und Infanterie abstellte. „Sport wurde groß geschrieben, lautlose Selbstverteidigung musste“ (Einzelkämpfer auf See, Cajus Becker) jeder Soldat beherrschen. Als Hauptwaffe dienten Röhren mit 7,5 kg Sprengstoff, sogenannte „Sprengfische“ mit Zeit- oder Fahrstreckenzündern, um den Tauchereinsatz zu verschleiern. Zu ihrer Ausrüstung gehörten Dräger-Tauchgeräte, Gummianzüge, Chronometer, Kompass, Flossen oder Bleischuhe. Bereits im Juni 1944 waren die ersten 30 Soldaten fertig ausgebildet.
Der dritte Ausbildungsstandort war die SS-Junkerschule in Bad Tölz. Die Freiwilligen der Marine wurden aus Gründen der Geheimhaltung zwischen 22.00Uhr und 06.00Uhr morgens im dortigen Schwimmbadkomplex ausgebildet. Bemühungen, diese und letztlich auch alle Kampfschwimmer unter das Kommando der Waffen-SS zu stellen, wurden vom OKM, also direkt von Konteradmiral Heye, abgelehnt. Die ausgebildeten Soldaten wurden von Bad Tölz abgezogen.
Die größten Erfolge der Kampfschwimmer im Zweiten Weltkrieg wurden jedoch nicht im Meer oder in Häfen gegen Schiffe, sondern in Flüssen gegen Brücken erzielt. So wurden im September 1944 die besetzten Übergänge über die Orne und den Orne-Kanal, sechs Kilometer nördlich von Caen, eine Brücke über die Waal bei Nijmegen sowie eine Pontonbrücke über die Oder zerstört. Darüber hinaus fiel der Hafen Antwerpen durch die Sprengung eines Schleusentors der Kreuzschanzschleuse ca. ein viertel Jahr aus. Insgesamt wurden von 1943 bis 1945 nur 450 Kampfschwimmer ausgebildet, von denen jedoch lediglich 60 einsatzfähig waren.