Gerhard Weise wurde am 26. Januar 1950 in Halle/Saale geboren. Nach dem Besuch der zehnklassigen polytechnischen Oberschule begann er eine schulbegleitende Berufsausbildung zum Baumaschinisten im Bau- und Montagekombinat Chemie Halle. Danach arbeitete er beim Übererdbau Leipzig in Magdeburg, absolvierte seinen Grundwehrdienst bei der NVA und übte anschließend die Tätigkeit eines Planierraupenfahrers im Bau- und Montagekombinat Magdeburg (BMK) aus.
Von 1982 bis 1983 besuchte Weise die SED-Bezirksparteischule in Magdeburg und war anschließend hauptamtlicher freigestellter Vorsitzender der Betriebsgewerkschaftsleitung im Stammbetrieb des BMK und Vorsitzender der Kombinatsgewerkschaftsleitung. Von 1985 bis 1990 studierte Weise im Fernstudium an der Gewerkschaftshochschule „Fritz Heckert“ in Bernau und machte seinen Abschluss in Gesellschaftswissenschaft.
Nach der Deutschen Einheit trat Weise in die IG Bau-Steine-Erden ein. Seit 1991 arbeitete er wieder als Baumaschinenführer und engagierte sich im Betriebsrat.