The Pitfalls of Memorization: When Memorization Hurts Generalization

Reza Bayat, Mohammad Pezeshki, Elvis Dohmatob, David Lopez-Paz, Pascal Vincent [h/t Charles / @reivers]

Abstract

Neural networks often learn simple explanations that fit the majority of the data while memorizing exceptions that deviate from these explanations. This behavior leads to poor generalization when the learned explanations rely on spurious correlations. In this work, we formalize the interplay between memorization and generalization, showing that spurious correlations would particularly lead to poor generalization when are combined with memorization. Memorization can reduce training loss to zero, leaving no incentive to learn robust, generalizable patterns. To address this, we propose memorization-aware training (MAT), which uses held-out predictions as a signal of memorization to shift a model’s logits. MAT encourages learning robust patterns invariant across distributions, improving generalization under distribution shifts.

Source:
https://arxiv.org/pdf/2412.07684v1

Mate Value / Coalitional Value:

Alexander:

"What women find attractive in men overlaps heavily with what men find desirable in same-sex peers, coalition members, friends, and leaders. We have evolved a bias in favor of “good traits,” which does not necessarily mean we are “good trait optimizers.” Rather, we are “good trait satisficers.” For example, our politicians are not exclusively 140IQ geniuses, but they typically are not unintelligent. If we looked at a distribution of politician IQ and found the mean was 110 or so (probably accurate, and around what it is for academics) it would not be correct to say we select “against” intelligence. But, we don’t pick the smartest people for our leaders either! Same effect in relationships. Being a literal genius might not help you much. But we do see biases in favor of one direction: women prefer physically attractive partners (and men prefer physically attractive same-sex peers, even from a young age onward). Women prefer taller and more muscular men as romantic partners - men prefer them as friends. Behavioral dominance is attractive to women and desirable in same-sex male peers. Extraversion. Low neuroticism. Some level of the Dark Triad traits (mainly narcissism) is attractive to the opposite sex - and is found more frequently in men in leadership (eg CEOs and politicians). Basically everything “mate value” is also “coalitional value.” The same status markers David Buss found cross-culturally are perceived as high status to both men and women. Not a lot in the way of sex differences in agreement or disagreement. Many of these same traits also predict both relationship outcomes (eg who will get divorced) and life outcomes (eg who will get fired from a job)."

Wert/Preis der Gedichte:

Wer würde für ein Gedicht,
dass es in den eigenen Besitz gerät,
eine erheblich Summe zahlen?

(Der Preis/Wert der Gedichte
somit relativ niedrig anzusetzen.
Gedichte als relativ "zweckfreie"
Phänomene.)

Träume:

Innere Filme und Geschichten.

"Machtkampf" nach der Kennenlernphase:

In vielen Partnerschaften kommt es nach einer gewissen „Honeymoon-Phase“ oder Kennenlernphase tatsächlich zu einer Phase, in der die beiden Partner unbewusst oder bewusst darum ringen, ihre Identität, Bedürfnisse und Grenzen im gemeinsamen Beziehungsgefüge zu definieren. Dieser sogenannte „Machtkampf“ ist nicht zwingend ein Zeichen dafür, dass die Beziehung scheitern wird. 

Warum passiert das?

1. Verlust der „rosaroten Brille“
   In den ersten Monaten einer Beziehung (der sogenannten Honeymoon- oder Verliebtheitsphase) sind wir oft stark auf den positiven, idealisierten Aspekt des Partners und der Partnerschaft fokussiert. Man nimmt Ungereimtheiten weniger wahr oder stellt eigene Ansprüche erstmal zurück. Nach dieser Phase kommt jedoch meist ein realistischerer Blick auf den Partner und die Beziehung – und es tauchen Unterschiede, Unstimmigkeiten oder Konflikte deutlicher auf.

2. Bedürfnis nach Autonomie und Individualität
   Gerade in der Anfangsphase verschmelzen viele Paare beinahe miteinander, man verbringt viel Zeit zusammen, entwickelt ein starkes Wir-Gefühl. Nach einer Weile wird jedoch das Bedürfnis nach Eigenständigkeit wieder deutlicher. Jeder will seine eigenen Hobbys, Interessen und Freundeskreise wahren oder zurückgewinnen. Dieses Ausbalancieren zwischen dem Wir und dem Ich führt oft zu Spannungen, denn man muss sich untereinander neu orientieren: Wo sind meine persönlichen Grenzen? Welche Freiheiten brauche ich, welche der andere?

3. Ungelöste Konflikte oder frühere Muster
   Jeder Mensch bringt eigene Erfahrungen, Prägungen und Erwartungen aus der Vergangenheit mit (z. B. aus Kindheit, früheren Beziehungen). Solange man noch von der euphorischen Verliebtheit getragen wird, bleiben diese Muster oft inaktiv oder treten in den Hintergrund. Doch je vertrauter man miteinander wird, desto eher werden alte Ängste, Eifersuchtsmuster oder auch kindliche Reaktionsweisen (etwa Trotz) wieder aktiviert. Es kommt zu einem inneren Bedürfnis, diese Unsicherheiten auszutarieren und den Platz in der Beziehung neu zu definieren.

4. Angst vor (emotionaler) Abhängigkeit
   Wenn man sich zu sehr „verliert“ und das Gefühl hat, der Partner könnte über das eigene Wohlbefinden bestimmen, beginnen Menschen oft, (unbewusst) die eigenen Grenzen abzustecken. Man will auf keinen Fall die Kontrolle verlieren oder sich „verloren“ fühlen. Dies kann sich als „Machtkampf“ äußern, bei dem es darum geht, wer sich wie weit auf Kompromisse einlässt oder bei wem die eigenen Bedürfnisse Vorrang haben.

5. Einfordern von Verantwortungsbereichen
   Gerade wenn Paare beginnen, den Alltag stärker zu teilen (Wohnung, Finanzen, Zukunftsplanung etc.), stellt sich praktisch die Frage: „Wer entscheidet was?“ oder „Wer trägt für welchen Bereich Verantwortung?“ Ob es um Geld, Haushalt oder soziale Kontakte geht: Oft werden hier Rollen noch einmal neu oder klarer verteilt. Dabei kann es durchaus zu Konflikten kommen, wenn beide – bewusst oder unbewusst – auf ihre jeweilige Position, ihre Weise oder ihre Meinung beharren.

6. Natürliche Weiterentwicklung der Beziehung
   Beziehungen durchlaufen verschiedene Phasen: vom ersten Verliebtsein über das Ausloten der Gemeinsamkeiten und Unterschiede bis zum Etablieren eines „Team-Gefühls“. Dieses Austarieren ist ein normaler Prozess der Teamentwicklung (vergleichbar mit Phasen wie „Forming“, „Storming“, „Norming“, „Performing“ in Gruppendynamiken). Die „Machtkampf“-Phase lässt sich meist der „Storming“-Phase zuordnen, in der Konflikte ausgetragen werden müssen, um zu klaren gemeinsamen Regeln und Rollen zu kommen.

Tiefe:

Stunden, in denen man tief in manche
(komplexen) Sachverhalte eindringen
kann.

Lange Arbeitstage:

Lange Arbeitstage bringen eine eigene Genugtuung mit sich.