論文の概要: Reason to Rote: Rethinking Memorization in Reasoning

• arxiv url: http://arxiv.org/abs/2507.04782v1
• Date: Mon, 07 Jul 2025 08:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.343604
• Title: Reason to Rote: Rethinking Memorization in Reasoning
• Title（参考訳）: Reason to Rote: Reasoningにおける記憶の再考
• Authors: Yupei Du, Philipp Mondorf, Silvia Casola, Yuekun Yao, Robert Litschko, Barbara Plank,
• Abstract要約: 大規模言語モデルは、ラベルノイズなどの任意のトレーニングインスタンスを覚えやすいが、推論タスクでは顕著に機能する。 本研究では,言語モデルがラベルノイズを記憶する方法と,そのような記憶が一般化可能な推論能力に大きく影響しない理由について検討する。
• 参考スコア（独自算出の注目度）: 25.760295891706516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models readily memorize arbitrary training instances, such as label noise, yet they perform strikingly well on reasoning tasks. In this work, we investigate how language models memorize label noise, and why such memorization in many cases does not heavily affect generalizable reasoning capabilities. Using two controllable synthetic reasoning datasets with noisy labels, four-digit addition (FDA) and two-hop relational reasoning (THR), we discover a reliance of memorization on generalizable reasoning mechanisms: models continue to compute intermediate reasoning outputs even when retrieving memorized noisy labels, and intervening reasoning adversely affects memorization. We further show that memorization operates through distributed encoding, i.e., aggregating various inputs and intermediate results, rather than building a look-up mechanism from inputs to noisy labels. Moreover, our FDA case study reveals memorization occurs via outlier heuristics, where existing neuron activation patterns are slightly shifted to fit noisy labels. Together, our findings suggest that memorization of label noise in language models builds on, rather than overrides, the underlying reasoning mechanisms, shedding lights on the intriguing phenomenon of benign memorization.
• Abstract（参考訳）: 大規模言語モデルは、ラベルノイズなどの任意のトレーニングインスタンスを覚えやすいが、推論タスクでは顕著に機能する。 本研究では,言語モデルがどのようにラベルノイズを記憶しているか,なぜそのような記憶が一般化可能な推論能力に大きく影響しないのかを検討する。 2つの制御可能な合成推論データセットと4桁の加算(FDA)と2桁のリレーショナル推論(THR)を用いて、一般化可能な推論機構による記憶の信頼性を発見し、記憶されたノイズラベルを検索しても中間的推論出力を計算し続け、介入した推論は記憶に悪影響を及ぼす。 さらに,入力からノイズラベルへのルックアップ機構を構築するのではなく,様々な入力と中間結果を集約する分散符号化によって記憶が動作することを示す。 さらに、FDAのケーススタディでは、既存のニューロン活性化パターンがノイズラベルに適合するようにわずかにシフトした、外れたヒューリスティックス(outlier heuristics)によって記憶が生じることを明らかにした。 その結果, 言語モデルにおけるラベルノイズの記憶は, オーバライドではなく, 基礎となる推論機構の上に構築され, 良性記憶の興味深い現象に光を流すことが示唆された。

関連論文リスト

• Diagnosing Memorization in Chain-of-Thought Reasoning, One Token at a Time [39.76650763934455]
  本稿では,覚書レベル同定のための新しいフレームワークSTIMを紹介する。 ローカルな暗記がしばしばエラーの主要な要因であることを示し、間違ったトークンの最大67%に繋がる。 STIMは、モデル推論の診断と改善のための強力なツールを提供し、他の構造化ステップワイズ生成タスクに一般化することができる。
  論文  参考訳（メタデータ） (2025-08-04T04:06:34Z)
• Understanding Verbatim Memorization in LLMs Through Circuit Discovery [11.007171636579868]
  LLMにおける記憶機構の解明はいまだに不十分である。 我々は、モデル内の特定の機能を実行する最小の計算部分グラフである変換回路を使用する。 メモリ化を開始する回路は一度開始しても維持でき、メモリ化のみを維持できる回路は開始を誘導できない。
  論文  参考訳（メタデータ） (2025-06-17T20:14:56Z)
• The Reasoning-Memorization Interplay in Language Models Is Mediated by a Single Direction [34.86855316803838]
  我々は、真の推論とメモリリコールのバランスを制御できるモデル残差ストリームの線形特徴セットを同定する。 これらの推論機能に介入することで、解答生成時に最も関連性の高い問題解決能力をモデルがより正確に活性化できることが示される。
  論文  参考訳（メタデータ） (2025-03-29T14:00:44Z)
• On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
  大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。 微調整は暗記を重くするが,常に一般化性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:31:54Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• The Curious Case of Benign Memorization [19.74244993871716]
  データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。 深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
  論文  参考訳（メタデータ） (2022-10-25T13:41:31Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
  私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。 具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。 次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
  論文  参考訳（メタデータ） (2021-05-21T13:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。