Datenvolumen & Mail Vervielfachung durch verschieben von Rundmails!!??

  • Moin!
    Bei einem User ist das Datenvolumen an einem Tag signifikant um mehrere Gigabyte an einem einzigem Tag angestiegen!


    Dabei ist mir aufgefallen, dass er wohl aus seinem Postausgang viele Rundmails verschoben hat.

    Wenn nun eine Mail, welche z.B. an 10 Empfänger geht und einen Anhang von 20mb hat, ist diese im Server Ordner out

    ( \\server\david\Archive\USER\10004000\out )

    auch nur 20mb groß + ein paar KB für den Text und die Infos, das ganze besteht dann aus 4 Dateien. So weit so gut.


    IEBD9E0F.0tx (2KB)
    IEBD9E0F.001 (1KB)

    IEBD9E0F.$00 (1KB)

    IEBD9E0F.$01 (20mb) - der Anhang

    Verschiebt man nun aber so eine Rundmail vom Ausgang in einen Unterordner (Aus organisatorischen Gründen),

    ( \\server\david\Archive\USER\10004000\out\1 )


    , dann vervielfacht das System nach der Datenbereinigung die Anzahl an Dateien um die Menge an Empfängern.

    Das bedeutet, das plötzlich im Unterordner mehre hundert MB liegen.


    IEBD9E01.0tx (2KB)

    IEBD9E01.001 (1KB)

    IEBD9E01.$00 (1KB)

    IEBD9E01.$01 (20mb) - der Anhang


    IEBD9E02.0tx (2KB)

    IEBD9E02.001 (1KB)

    IEBD9E02.$00 (1KB)

    IEBD9E02.$01 (20mb) - der Anhang


    IEBD9E02.0tx (2KB)

    IEBD9E02.001 (1KB)

    IEBD9E02.$00 (1KB)

    IEBD9E02.$01 (20mb) - der Anhang


    usw... X Anzahl der Empfänger.


    Es sieht so aus, als würden daraus einzelne und eigenständige Mails generiert werden.... und das aus nur einer einzigen Rundmail!

    Hab es in einer alten und der neuen 300 Version getestet.

    Lässt sich dieses "Verhalten" irgendwie abstellen?
    Falls nicht, wie sollten die User damit umgehen, sonst droht doch über kurz oder lang der Server Kollaps.

  • Ich muss den Beitrag nochmal puschen, da so gar keine Antworten gekommen sind :)

    Hier sieht man das nochmal was ich meine....

    Nach verschieben in den Unterordner "Test" hat sich die Datenmenge verdreifacht (weil es 3x Mails sind)
    Im Eingang war hingegen die Datenmenge in einer Rundmail erhalten.


  • Hast du in der Konfiguration des PostMans die Option "eMail Rundsendung" aktiviert?

    Dann wäre es möglich, dass das so ist - bei der Option wird nämlich eine Rundsendung an den Registrar geschickt, der die Datei dann auflöst und entsprechend an die Domains weiter gibt.

    Du hast also nur eine Datei im Ausgang.

    Wenn du die Mail verschiebst, wird für jeden Empfänger eine einzelne Mail erzeugt - als hättest du die o.g. Option deaktiviert.

    Wahrscheinlich, um die Integrität zu gewährleisten...


    Wobei auch bei deaktivierter Option alle Einträge im Ausgang auf die gleiche Datei im Explorer verweisen...

    Ich vermute mal, dass beim Verschieben der Einträge diese dupliziert werden, damit es keine Querverweise gibt.


    So viel zur möglichen Erläuterung.

    Wie das umgangen werden kann, keine Ahnung. :D

  • Ich kann nicht nur deswegen, sondern auch ganz allgemein empfehlen unter Windows Server ab Version 2016 Gebrauch von dessen Fähigkeit der Datendeduplikation zu machen ;)

    Server Manager > Datei-/Speicherdienste > Volumes > das Volume auswählen > Kontextmenü > Datendeduplizierung konfigurieren.

    Unser David Verzeichnis umfasst aktuell rund 1,323 TB an Daten, die Deduplizierungsrate liegt bei 52% über alles und spart 688GB ein, so das aktuell nur 635 GB auf der Platte tatsächlich belegt sind.

    In der Performance macht sich das nicht negativ bemerkbar.

    Ich habe die Deduplizierung auf "Allgemeiner Dateiserver" und 3 Tage konfiguriert, ausgeschlossen wird nur der Ordner \programme\david\code\database

    Damit fahren wir nun seit rund einem Jahr ganz ausgezeichnet.

    Entsprechend stören mich solche Datenvermehrungen allenfalls noch im Umfang des Strongboxarchives, allerdings saut das eh schon anderweitig ziemlich mit den Daten herum und belegt bei knapp über 70 Nutzern an normalen Wochentagen schon mal rund 10GB Datenzuwachs pro Tag und rund 4GB am Wochenende.

    Zu Deinem Rundmail Problem fällt mir sonst nur noch ein die nicht manuell, sondern gleich per Regel in passende Ordner verschieben zu lassen, das sollte eigentlich dafür sorgen das so eine Rundmail nur einmal im Zielordner landet. Jedenfalls so lang sie dann später nicht noch wo anders hin verschoben wird ;)

  • Moin riawie hab mich grad mal schnell zu dem Thema eingelesen. Jau crazy Alien Technologie. Anscheinend würde das exakt gegen mein Problem helfen.


    Wie zur Hölle kann sowas aber funktionieren? Werden dann doppelte Dateien tatsächlich pyiskalisch gelöscht von dem Windows Feature? Oder wie kann da Platz eingespart werden? :)


    *wurde wohl bei Server 2012 schon eingeführt

  • Wie zur Hölle kann sowas aber funktionieren? Werden dann doppelte Dateien tatsächlich pyiskalisch gelöscht von dem Windows Feature? Oder wie kann da Platz eingespart werden?

    Im Grunde so ähnlich, der Windows Server untersucht regelmäßig was für Dateien auf der Platte liegen und prüft sie auf Duplikate.
    Werden Duplikate gefunden werden die Verweise auf den Inhalt der zweiten Datei im Filesystem auf den Inhalt der ersten umgebogen und dann der Platz den die zweite vorher belegt hat wieder als frei markiert.
    Wenn dann später der Inhalt einer der beiden Repräsentationen der Datei verändert wird erzeugt Windows im Moment des schreibens wieder eine Kopie der Daten, so das ein verändern der einen Repräsentation die andere nicht beeinflusst.

    Sowas ist gerade bei Mailstores sehr nützlich und hier bietet die von vielen als obskur bezeichnete Art von Tobit David seinen Mailstore in mehrere Dateien je Mail aufzusplitten sogar deutliche Vorteile gegenüber anderen Systemen, denn erst dadurch entstehen deutlich mehr wirklich identische Kopien einer Datei auf Filesystem ebene.
    Wobei mir gerade die Zeit fehlt das im Detail zu erläutern, fakt ist, das es der Windows Art und Weise Dateien zu deduplizieren deutlich entgegen kommt, Fakt ist ebenso das David intern im Grunde selbst ähnliches tut, nur bricht das immer wieder auf, weswegen dann eben doch Duplikate im Filesystem liegen welche die Windows Server Filesystem Deduplikation dann eben wieder einfangen kann ;)

    Einzig bleibendes Problem ist wie gesagt das sich immer mehr aufblähende StronBox Image, aber hey vergleichsweise langsamer Backup Speicher ist halt deutlich günstiger als schneller Speicher für die Live Daten und entsprechend kann man das verschmerzen, davon abgesehen macht die Strongbox auch noch einen gewissen Teil des Problems durch Kompression wett.
    Und in Deinem Fall kannst du die Strongbox eben auch noch entlasten indem Du das wegsortieren nicht mehr von Hand machst, sondern dafür Regeln einrichtest, weil dadurch dann gar nicht erst Kopien erzeugt werden ;)

  • Server Manager > Datei-/Speicherdienste > Volumes > das Volume auswählen > Kontextmenü > Datendeduplizierung konfigurieren.

    Ist ein altes Thema aber hier hast du es gut beschrieben ;)



    Bei mir ist deduplizierung ausgegraut?!

    Woran kann das liegen?


    EDIT: hat sich erledigt, Datendeduplizierung musste noch installiert werden als Feature ;)




    Hast du irgendwelche besonderen Dinge heir noch eingestellt?
    Und ist doch Allgemeiner dateiserver auszuwählen oder?

  • Sorry riawie es kam noch eine EDIT NAchfrage ;)
    Hast du nach dem Like wahrscheinlich nicht gesehen?! D:

    Allgemeiner Dateiserver ist richtig.

    Ansonsten habe ich nur noch bei "Alter (in Tagen), ab dem Dateien dedupliziert werden sollen:" 3 eingetragen.
    Mit kleineren Werten hat der Server mehr zu tun, es bringt aber bei uns keinen wesentlichen langfristigen Gewinn. deswegen die 3 Tage.

  • Ich habe die Deduplizierung auf "Allgemeiner Dateiserver" und 3 Tage konfiguriert, ausgeschlossen wird nur der Ordner \programme\david\code\database

    Oh man hier steht es ja auch nochmal... Hätte ich mal die Augen aufgemacht.


    Ok hab ich nun konfiguriert.

    Aber gestartet habeich das noch nicht, geht das auch manuell?


    Ich hab bei Zeitplan einfach aml heut (gleich) eingestellt, und schaue was er dann macht :D

  • Haha, ja, Zeitplan hatte ich wohl unterschlagen, sieht bei mir so aus:


    Man sollte halt drauf achten die Durchsatzoptimierung nicht unbedingt zur gleichen Zeit laufen zu lassen zu der Datensicherung oder Bereinigung des David Servers läuft oder im Betrieb der Bär steppt.

    Ach und falls du es oben übersehen haben solltest:


    ausgeschlossen wird nur der Ordner \programme\david\code\database

  • Es startet zu den von Dir eingestellten Zeiten, berücksichtigt dabei aber bei der Einstellung des Mindestalters der Dateien nur solche die mindestens 3 Tage alt sind. Da auf einem David Server allerdings zu jeder Zeit - außer er wäre gerade frisch installiert oder frisch umgezogen - ausreichend Dateien liegen sollten die bereits 3 Tage oder älter sind sollte da folglich auch gleich nach dem er das erste mal gelaufen ist ein Effekt zu sehen sein.

    Die einzige Konstellation in der ich mir vorstellen könnte das man da bei einem gewählten Mindestalter (fast) keinen bzw. nur einen sehr kleinen Effekt sieht wäre das man konsequent in allen Ein uns Ausgangsarchiven die Automatische Ablage schon nach weniger als 3 Tagen aktiv hat und ebenso konsequent alle Ablagearchive auf zusammenfassen eingestellt hat, denn dann gibt es ja quasi nichts was die Deduplikation noch als Duplikate erkennen könnte.

    Ich habe mich bislang aber nie damit beschäftigen müssen das die Deduplikation nicht sofort Wirkung zeigt und kann daher nicht aus dem Stehgreif mit Rat dienen wie man prüfen kann was da warum gerade nicht wie gewünscht passiert.

    Aber schau doch mal in die Windows Ereignisanzeige und dort unter:

    Anwendungs und Dienstprotokolle > Microsoft> Deduplikation

    Ob dort irgendwas interessantes zu Tage gefördert wird.

  • Es startet zu den von Dir eingestellten Zeiten, berücksichtigt dabei aber bei der Einstellung des Mindestalters der Dateien nur solche die mindestens 3 Tage alt sind. Da auf einem David Server allerdings zu jeder Zeit - außer er wäre gerade frisch installiert oder frisch umgezogen - ausreichend Dateien liegen sollten die bereits 3 Tage oder älter sind sollte da folglich auch gleich nach dem er das erste mal gelaufen ist ein Effekt zu sehen sein.

    Danke, das ist komisch...


    Die einzige Konstellation in der ich mir vorstellen könnte das man da bei einem gewählten Mindestalter (fast) keinen bzw. nur einen sehr kleinen Effekt sieht wäre das man konsequent in allen Ein uns Ausgangsarchiven die Automatische Ablage schon nach weniger als 3 Tagen aktiv hat und ebenso konsequent alle Ablagearchive auf zusammenfassen eingestellt hat, denn dann gibt es ja quasi nichts was die Deduplikation noch als Duplikate erkennen könnte.

    haben wir gar nicht aktiv...



    Aber schau doch mal in die Windows Ereignisanzeige und dort unter:

    Anwendungs und Dienstprotokolle > Microsoft> Deduplikation

    Ob dort irgendwas interessantes zu Tage gefördert wird.

    Werde ich gleich machen, danke !

  • Durch eure interessante Diskussion habe ich mir das nun auch angeguckt Danke! :)

    Frage dazu ich habe die Rolle für Deduplizierung installiert und bei einem Volume geht es und bei einem anderen wird es mir grau angezeigt. Für das Volume wo es nicht geht ist david drauf in dem Fall auf c:\david\

    Hier geht es:


    Hier ist es grau.

    Ich habe bisher keine Erklärung gefunden warum es grau bleibt.

    Jemand eine Idee?


    Grüße

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!