Hermann Rappe wurde am 20. September 1929 in Hannoversch Münden als Sohn eines Metallarbeiters geboren. Nach der Mittelschule absolvierte Rappe eine Lehre bei der ortsansässigen Konsumgenossenschaft. 1946 trat Rappe in die Sozialistische Jugend und die Arbeiterwohlfahrt ein, ein Jahr später in die SPD und die Gewerkschaft Handel, Banken und Versicherungen. 1953 wechselte er als hauptamtlicher Mitarbeiter zur IG Chemie-Papier- Keramik (IG CPK) nach Hannover. Es folgten Stationen als Bezirkssekretär im Bezirk Niedersachsen und als Sekretär beim Hauptvorstand der IG CPK.
1966 wurde Hermann Rappe in den Hauptvorstand gewählt und bekleidete ab 1978 das Amt des stellvertretenden Vorsitzenden, bevor er 1982 zum Vorsitzenden gewählt wurde. Mit dieser Wahl erfolgte im selben Jahr die Wahl zum Vizepräsidenten der Internationalen Föderation von Chemie-, Energie- und Fabrikarbeiterverbänden (ICEF) sowie zum Präsidenten der Europäischen Föderation von Chemiegewerkschaften. Im Jahr 1988 übernahm Rappe dann die ICEF- Präsidentschaft. Aus allen drei Ämtern schied er 1995 aus.
Rappe machte sich einen Namen durch seine dezidiert antikommunistische und sozialpartnerschaftliche Einstellung. Besonders in der Tarifpolitik gelangen durch Rappes Einfluss nachhaltige Erfolge wie die Einführung eines einheitlichen Tarifvertrags für Arbeiter und Angestellte im Jahr 1987. Zu weiteren Herausforderungen seiner Amtszeit zählten der Umbau der chemischen Industrie nach der Wiedervereinigung und die Fusion der IG CPK mit der IG Bergbau und Energie zur IG Bergbau, Chemie, Energie.
Parallel zum Aufstieg in der Gewerkschaft begann Rappe seine politische Laufbahn: Zwischen 1972 und 1998 vertrat er die SPD als direkt gewählter Abgeordneter des Wahlkreises Hildesheim im Bundestag, wo er unter anderem von 1977 bis 1982 Vorsitzender des Ausschusses für Arbeit und Sozialordnung war.