Schwierig
Ich hatte einen ähnlichen Fall in meinem Bekanntenkreis, wo es auch so aussah wie von 135790 beschrieben: Von außen sah es so aus, als ob die alte Verbindung nur wegen der neuen, die "anscheinend" schon eine Zeitlang vor dem Ende existierte, beendet wurde. Am Ende wurde es eine ziemliche Schlammschlacht, weil das frischverliebte Paar die Zweifel an der eigenen Auslegung der Entstehungsgeschichte nie wirklich ausräumen konnte...
Eigentlich kann es Dir ja egal sein, was die anderen denken, und auch mit Deinem Ex hast Du Dich ja "im Guten" getrennt, weswegen da eigentlich der Weg frei sein müsste.
Aber ich bitte Dich zu bedenken, allein wegen der örtlichen Nähe, und auch weil Ihr (Du und Dein Ex) sicher noch viele Freunde gemeinsam habt, die sich auch ihren eigenen Reim drauf machen werden, dass Ihr solchen Gerüchten lieber keine Nahrung gebt und Euer Verhältnis noch eine Zeitlang, z.B. ein Vierteljahr, bedeckt haltet. Wenn Ihr Euch wirklich liebt, wird das Eure Freundschaft verkraften und Ihr könnt wirklich "befreit" leben.
Traurig übrigens, dass Deine bisherige Partnerschaft nach vier langen Jahren auseinandergebrochen ist "weil wir keine Zuneigung mehr fühlten". Sorry, aber Liebe darf nicht mehr einfach ein Gefühl bleiben, zumindest nicht nach so vielen Jahren. Die Gefühle sind nur eine relativ kurzzeitige Wirkung der Chemie (na ja, Langzeit-Ausnahmen gibt's immer), die beim Verliebtsein im Gehirn verrückt spielt, und dient nur der Partnerfindung, sozusagen wie der Blumenduft die Biene anlocken soll. Sie muss möglichst bald ersetzt werden durch "dauerhaftere Bindemittel", und durch den festen Willen zusammenzubleiben, wie gemeinsame Werte und Überzeugungen, das echte Interesse aneinander. Ich höre das so oft: "wir trennen uns, weil wir nichts mehr füreinander fühlen" - aber ich denke, da wurden schon im Vorfeld die falschen Weichen gestellt, oder gar keine...
So, genug geschlaumeiert; ich wünsche Dir für Deine neue Beziehung jedenfalls, dass sie viel länger hält! ;-.)