Nach einer kleinen, notwendigen Pause mit lecker Essen vom Inder, hab ich mich noch mal hin gesetzt und die Lösung gefunden!
Habe jetzt folgendermaßen Verkabelt:
2x Klinke Mono --> 1x Klinke Stereo
Klinke links: Ground Shield auf Gehäuse
Line - auf Spitze
Klinke rechts: Ground Shield auf Gehäuse
Line + auf Spitze
In der Stereo-Klinke hab ich dann die beiden Schirme zusammen gefasst und Line - auf Spitze, sowie Line + auf den Ring.
Doof, dass ich da nicht gleich drauf gekommen bin, hätte mir ne Menge Arbeit erspart

Die Leitungen sind jetzt zwar nicht Symmetrisch, aber für einen Kopfhörerverstärker brauch ich das nicht unbedingt.
Gruß, Tobias