論文の概要: How Do Language Models Choose Between Context and Memory?

• arxiv url: http://arxiv.org/abs/2609.00753v1
• Date: Tue, 01 Sep 2026 05:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.403958
• Title: How Do Language Models Choose Between Context and Memory?
• Title（参考訳）: 言語モデルはコンテキストと記憶をどのように選択するか?
• Authors: Benjamin Shih, John Winnicki, Arianna Cao,
• Abstract要約: 方向に沿った操舵が因果関係を確立できないことを示す。 また、オーソリティ計算はタスク間で再利用可能なものではなく、タスクに依存している可能性があることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When contextual information conflicts with the knowledge stored in model parameters, activation directions can be used to decode and steer which source the model follows. However, steering along a direction does not establish causality: whether the unedited model would naturally use that direction or whether the direction is reusable across tasks. We test these distinctions through counterfactual experiments in unambiguous settings. First, we estimate authority directions from agreement prompts, in which the context and parametric knowledge support the same answer. We then interchange naturally occurring coordinates along these directions between matched prompts that direct the model to prioritize either the supplied context or its parametric knowledge. Across Qwen, Llama, and OLMo models, this intervention reproduces 30-68% of the authority-induced shift in source choice, whereas matched controls reproduce almost none. To test cross-task reuse, we learn authority directions on two tasks separately and see that cross-task transferability closes only 9% of the authority gap while the local direction learned on the given task closes 57%. These results distinguish authority representation, causal use, and cross-task causal reuse, and suggest that authority computations may be task-dependent, rather than reusable across tasks.
• Abstract（参考訳）: コンテキスト情報がモデルパラメータに格納された知識と矛盾する場合、アクティベーション方向を使用して、モデルが従うソースのデコードとステアを行うことができる。 しかし、方向に沿って進むことは因果関係を確立しない:未編集のモデルが自然にその方向を使うか、タスク間で方向が再利用されるかである。 これらの区別は、不明瞭な環境での反ファクト実験を通じて検証する。 まず、コンセンサスプロンプトから権威の方向性を推定し、コンテキストとパラメトリック知識が同じ回答をサポートする。 次に、これらの方向に沿って自然に発生する座標を一致したプロンプト間で交換し、モデルに供給された文脈またはそのパラメトリック知識を優先順位付けするように指示する。 Qwen、Llama、OLMoモデル全体で、この介入は権威によって引き起こされるソース選択の30～68%を再現するが、一致した制御はほとんど再生しない。 クロスタスクの再利用をテストするために、2つのタスクの権限の方向を別々に学習し、クロスタスクの転送性が権威のギャップのわずか9%を閉じる一方、与えられたタスクの局所的な方向は57%を閉じることを確認した。 これらの結果は、権限表現、因果使用、およびクロスタスク因果再利用を区別し、権限計算はタスク間で再利用されるのではなく、タスクに依存している可能性があることを示唆している。

関連論文リスト

• Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models [0.0]
  最近の研究は、いくつかの大きな言語モデル表現が内容や参照を持っていることを示唆している。 この論文はそのギャップから何に従うか尋ねる。 出力は、目標とタスク固有のアレンジメントが生成し、受け入れ、または取り下げるものに相違がある場合、応答可能である。
  論文  参考訳（メタデータ） (2026-08-14T12:30:19Z)
• Prediction-Powered Inference Across Many Tasks for AI Evaluation & Social Science Research [6.716363754264257]
  多くのアプリケーションは、多くの関連するタスクにまたがって統計的に妥当な推論を必要とするが、仮説当たりの高品質なラベルはわずかである。 本稿では,タスク固有の推論を保存しながら,関連タスクのラベル付きデータを用いてパワーを向上させる予測型推論フレームワークを提案する。 本研究では,ラベルが不足している場合の信頼区間幅を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2026-05-28T02:09:38Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces [19.4968960182412]
  本研究では, 学習不能なタスクに対して, 特定の特性が存在する場合の埋め込み空間を問合せする「指示タスク」という用語を導入する。 適切な指標を適用すれば、プローブと比較して、取得・削除された情報のより正確な画像が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-24T15:08:12Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Learning Stable Classifiers by Transferring Unstable Features [59.06169363181417]
  本研究では,素早い相関関係の存在下での伝達学習について検討する。 提案手法は, ソースタスクで学習した安定な特徴抽出器を直接転送しても, 対象タスクのバイアスを排除できないことを実験的に実証する。 我々は、ソースタスクの不安定な特徴とターゲットタスクの不安定な特徴が直接関連していると仮定する。
  論文  参考訳（メタデータ） (2021-06-15T02:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。