論文の概要: Generalization or Memorization: Dynamic Decoding for Mode Steering

• arxiv url: http://arxiv.org/abs/2510.22099v1
• Date: Sat, 25 Oct 2025 00:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.818637
• Title: Generalization or Memorization: Dynamic Decoding for Mode Steering
• Title（参考訳）: 一般化・記憶:モードステアリングのための動的デコード
• Authors: Xuanming Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、そのトレーニングデータの顕著な一般化と不安定な冗長な記憶を両立させることのできる、厄介な双対性を示す。 この予測不可能さは、高いスループットのアプリケーションにおける信頼性を損なう。 我々はこれらの異なる推論モードを理解し、識別し、制御するための統一的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.000188333305898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) exhibit a troubling duality, capable of both remarkable generalization and brittle, verbatim memorization of their training data. This unpredictability undermines their reliability in high-stakes applications. In this work, we propose a unified framework to understand, identify, and control these distinct reasoning modes. First, we introduce a theoretical model based on the Information Bottleneck (IB) principle, formalizing generalization as the learning of a compressed, task-relevant representation and memorization as a failure to compress. Building on this theory, we develop Dynamic Mode Steering (DMS), a novel inference-time algorithm which comprises two components: (1) a lightweight, causally-grounded linear probe that identifies the model's instantaneous reliance on memorization, and (2) a dynamic activation steering mechanism that nudges the model's computation towards pre-identified generalization circuits. We frame DMS as a form of adaptive, self-contrastive decoding. Experiments on reasoning and faithfulness tasks demonstrate that DMS significantly improves logical consistency and factual accuracy, thereby offering a principled approach to enhancing LLM reliability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、そのトレーニングデータの顕著な一般化と不安定な冗長な記憶を両立させることのできる、厄介な双対性を示す。 この予測不可能さは、高いスループットのアプリケーションにおける信頼性を損なう。 本研究では、これらの異なる推論モードを理解し、識別し、制御するための統一的なフレームワークを提案する。 まず,Information Bottleneck(IB)の原理に基づく理論モデルを導入し,圧縮されたタスク関連表現の学習として一般化を定式化し,圧縮の失敗として記憶する。 この理論に基づいて,(1)モデルが記憶への即時依存を識別する軽量で因果的な線形プローブ,(2)モデルが事前に同定された一般化回路に対して計算を行う動的アクティベーションステアリング機構の2つのコンポーネントからなる,新しい推論時アルゴリズムである動的モードステアリング(DMS)を開発した。 DMSは適応的で自己コントラスト的なデコーディングの一種です。 推論と忠実性に関する実験により、DMSは論理的一貫性と事実的正確性を大幅に改善し、LCMの信頼性を高めるための原則的なアプローチを提供することを示した。

関連論文リスト

• Towards Fast Coarse-graining and Equation Discovery with Foundation Inference Models [6.403678133359229]
  高次元記録における潜伏力学は、しばしばより小さな有効変数の集合によって特徴づけられる。 ほとんどの機械学習アプローチは、動的一貫性を強制するモデルとともにオートエンコーダをトレーニングすることで、これらのタスクに共同で取り組む。 我々は最近導入されたファンデーション推論モデル(FIM)を利用して2つの問題を分離することを提案する。 半円拡散を合成ビデオデータに埋め込んだ二重井戸系における概念実証は、高速で再利用可能な粗粒化パイプラインに対するこのアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-10-14T15:17:23Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• RationAnomaly: Log Anomaly Detection with Rationality via Chain-of-Thought and Reinforcement Learning [27.235259453535537]
  RationAnomalyは、Chain-of-Thoughtファインチューニングと強化学習を相乗化することにより、ログの異常検出を強化する新しいフレームワークである。 コードとデータセットを含む、対応するリソースをリリースしました。
  論文  参考訳（メタデータ） (2025-09-18T07:35:58Z)
• Learning from Heterogeneity: Generalizing Dynamic Facial Expression Recognition via Distributionally Robust Optimization [23.328511708942045]
  Heterogeneity-Aware Distributional Framework (HDF) は、時間周波数モデリングを強化し、ハードサンプルによる不均衡を軽減するために設計された。 時間周波数分散アテンションモジュール(DAM)は、時間的一貫性と周波数ロバスト性の両方をキャプチャする。 適応最適化モジュール 分散対応スケーリングモジュール (DSM) は、動的に分類と対照的な損失のバランスをとるために導入された。
  論文  参考訳（メタデータ） (2025-07-21T16:21:47Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。