Vielen Dank Johannes für deine Antwort! Das war zwar noch nicht die Lösung, hat mich aber auf den richtigen Weg gebracht.
Für alle, die es künftig interessiert, poste ich mal meine Lösung:

Ich habe zwei neue Befehle hinzugefügt. \noheadchap, wenn ich das Kapitel nicht in der Kopfzeile stehen haben will, und \headchap, wenn ich es wieder aktivieren will.
Die habe ich dann auf der jeweiligen Seite benutzt, wo ich sie gebraucht habe. Dadurch bleiben Seitenzahl und der Unterstrich erhalten.
Dementsprechend hat sich mein allgemeiner Kopfzeilencode (s.o.) verändert zu:

Code:
\usepackage{fancyhdr}
\pagestyle{fancy}
\renewcommand*\MakeUppercase[1]{#1}
\newcommand{\noheadchap}{
     \fancyhf{}
     \rhead{\thepage}
}
\newcommand{\headchap}{
     \fancyhead[l]{\textsl\leftmark}
}