論文の概要: Reason to Rote: Rethinking Memorization in Reasoning

• arxiv url: http://arxiv.org/abs/2507.04782v1
• Date: Mon, 07 Jul 2025 08:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.343604
• Title: Reason to Rote: Rethinking Memorization in Reasoning
• Title（参考訳）: Reason to Rote: Reasoningにおける記憶の再考
• Authors: Yupei Du, Philipp Mondorf, Silvia Casola, Yuekun Yao, Robert Litschko, Barbara Plank,
• Abstract要約: 大規模言語モデルは、ラベルノイズなどの任意のトレーニングインスタンスを覚えやすいが、推論タスクでは顕著に機能する。 本研究では,言語モデルがラベルノイズを記憶する方法と,そのような記憶が一般化可能な推論能力に大きく影響しない理由について検討する。
• 参考スコア（独自算出の注目度）: 25.760295891706516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models readily memorize arbitrary training instances, such as label noise, yet they perform strikingly well on reasoning tasks. In this work, we investigate how language models memorize label noise, and why such memorization in many cases does not heavily affect generalizable reasoning capabilities. Using two controllable synthetic reasoning datasets with noisy labels, four-digit addition (FDA) and two-hop relational reasoning (THR), we discover a reliance of memorization on generalizable reasoning mechanisms: models continue to compute intermediate reasoning outputs even when retrieving memorized noisy labels, and intervening reasoning adversely affects memorization. We further show that memorization operates through distributed encoding, i.e., aggregating various inputs and intermediate results, rather than building a look-up mechanism from inputs to noisy labels. Moreover, our FDA case study reveals memorization occurs via outlier heuristics, where existing neuron activation patterns are slightly shifted to fit noisy labels. Together, our findings suggest that memorization of label noise in language models builds on, rather than overrides, the underlying reasoning mechanisms, shedding lights on the intriguing phenomenon of benign memorization.
• Abstract（参考訳）: 大規模言語モデルは、ラベルノイズなどの任意のトレーニングインスタンスを覚えやすいが、推論タスクでは顕著に機能する。 本研究では,言語モデルがどのようにラベルノイズを記憶しているか,なぜそのような記憶が一般化可能な推論能力に大きく影響しないのかを検討する。 2つの制御可能な合成推論データセットと4桁の加算(FDA)と2桁のリレーショナル推論(THR)を用いて、一般化可能な推論機構による記憶の信頼性を発見し、記憶されたノイズラベルを検索しても中間的推論出力を計算し続け、介入した推論は記憶に悪影響を及ぼす。 さらに,入力からノイズラベルへのルックアップ機構を構築するのではなく,様々な入力と中間結果を集約する分散符号化によって記憶が動作することを示す。 さらに、FDAのケーススタディでは、既存のニューロン活性化パターンがノイズラベルに適合するようにわずかにシフトした、外れたヒューリスティックス(outlier heuristics)によって記憶が生じることを明らかにした。 その結果, 言語モデルにおけるラベルノイズの記憶は, オーバライドではなく, 基礎となる推論機構の上に構築され, 良性記憶の興味深い現象に光を流すことが示唆された。

関連論文リスト

• Understanding Verbatim Memorization in LLMs Through Circuit Discovery [11.007171636579868]
  LLMにおける記憶機構の解明はいまだに不十分である。 我々は、モデル内の特定の機能を実行する最小の計算部分グラフである変換回路を使用する。 メモリ化を開始する回路は一度開始しても維持でき、メモリ化のみを維持できる回路は開始を誘導できない。
  論文  参考訳（メタデータ） (2025-06-17T20:14:56Z)
• The Reasoning-Memorization Interplay in Language Models Is Mediated by a Single Direction [34.86855316803838]
  我々は、真の推論とメモリリコールのバランスを制御できるモデル残差ストリームの線形特徴セットを同定する。 これらの推論機能に介入することで、解答生成時に最も関連性の高い問題解決能力をモデルがより正確に活性化できることが示される。
  論文  参考訳（メタデータ） (2025-03-29T14:00:44Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• The Curious Case of Benign Memorization [19.74244993871716]
  データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。 深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
  論文  参考訳（メタデータ） (2022-10-25T13:41:31Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。