論文の概要: To Copy or Not to Copy: Copying Is Easier to Induce Than Recall
- arxiv url: http://arxiv.org/abs/2601.12075v1
- Date: Sat, 17 Jan 2026 14:46:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.449236
- Title: To Copy or Not to Copy: Copying Is Easier to Induce Than Recall
- Title（参考訳）: コピーするかコピーしないか:コピーはリコールより簡単に誘導できる
- Authors: Mehrdad Farahani, Franziska Penzkofer, Richard Johansson,
- Abstract要約: 言語モデルは、重みに格納されたパラメトリック知識と、プロンプトの文脈情報とを仲裁しなければならない。
本研究は, モデルアクティベーションから慣性ベクトルを抽出し, その選択に関する力学的検討を行う。
- 参考スコア（独自算出の注目度）: 5.057026826740146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models used in retrieval-augmented settings must arbitrate between parametric knowledge stored in their weights and contextual information in the prompt. This work presents a mechanistic study of that choice by extracting an \emph{arbitration vector} from model activations on a curated dataset designed to disentangle (i) irrelevant contexts that elicit parametric recall and (ii) relevant but false contexts that elicit copying. The vector is computed as the residual-stream centroid difference between these regimes across 27 relations, and is injected as an additive intervention at selected layers and token spans to steer behavior in two directions: Copy$\rightarrow$Recall (suppressing context use) and Recall$\rightarrow$Copy (inducing the model to copy any token from the context). Experiments on two architectures (decoder-only and encoder/decoder) and two open-domain QA benchmarks show consistent behavior shifts under moderate scaling while monitoring accuracy and fluency. Mechanistic analyses of attention routing, MLP contributions, and layer-wise probability trajectories reveal an asymmetry: inducing copying is an easy ``reactivation'' process that can be triggered at different locations in the input, while restoring recall is a ``suppression'' process that is more fragile and strongly tied to object-token interventions.
- Abstract（参考訳）: 検索強化設定で使用される言語モデルは、重みに格納されたパラメトリック知識と、プロンプトに格納された文脈情報とを仲裁しなければならない。
本研究は, モデルアクティベーションから \emph{arbitration vector} を解離するために設計されたキュレートデータセットから抽出することにより, その選択に関する力学的研究を行う。
一 パラメトリックリコールを誘発する無関係な文脈
(ii)複製を誘発する関連性はあるが偽の文脈。
ベクトルは27の関係でこれらのレシエーション間の残ストリームセントロイド差分として計算され、選択されたレイヤでの付加的介入として注入され、トークンスパンは2つの方向のステア動作を操る: Copy$\rightarrow$Recall (文脈の使用を抑圧する)とRecall$\rightarrow$Copy (コンテキストからトークンをコピーするためのモデルの導入)。
2つのアーキテクチャ(デコーダのみとエンコーダ/デコーダ)と2つのオープンドメインQAベンチマークの実験は、精度と流速を監視しながら、適度なスケーリングの下で一貫した振る舞いのシフトを示す。
注意ルーティング、MLPコントリビューション、レイヤーワイド確率軌道のメカニカル分析では、非対称性が示される: コピーを誘導することは、入力の異なる場所でトリガーできる簡単な 'reactivation' プロセスであり、リコールはより脆弱で、オブジェクト-トークンの介入に強く結びついている 'repression' プロセスである。
関連論文リスト
- MSN: Multi-directional Similarity Network for Hand-crafted and Deep-synthesized Copy-Move Forgery Detection [41.87843079741093]
本稿では,複数方向類似性ネットワーク(MSN)と呼ばれる新しい2ストリームモデルを提案する。
画像は多方向CNNネットワークによって階層的に符号化され、スケールや回転の多様化により、2つのストリームにおけるサンプルパッチの類似性をよりよく測定できる。
ローカライゼーションでは,2次元類似度行列に基づくデコーダを設計し,現在の1次元類似度ベクトルに基づくデコーダと比較して,画像全体の空間情報をフル活用する。
論文 参考訳（メタデータ） (2025-12-08T02:47:05Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Copy-Paste to Mitigate Large Language Model Hallucinations [28.490445724463864]
本研究では,2段階のハイコピー応答選好トレーニングにより得られたCopyPasteLLMを提案する。
FaithEval、ConFiQA、PubMedQAでは、CopyPasteLLMは、デファクトとオリジナルの両方のコンテキストで最高のパフォーマンスを達成する。
CopyPasteLLMの有効性を解明するために、コンテキストコピーキャプチャーアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-10-01T04:40:04Z) - CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。
リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
論文 参考訳（メタデータ） (2024-07-09T17:58:18Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳（メタデータ） (2024-03-27T15:15:14Z) - DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and
Grounding [34.078590816368056]
句抽出と接地(PEG)の両面を考慮した視覚的接地の問題について検討する。
PEGはテキストからフレーズを抽出し、画像からオブジェクトを同時に見つけるモデルを必要とする。
画像とテキストの異なる特徴を探索する2つのクエリを導入した新しいDQ-DETRモデルを提案する。
論文 参考訳（メタデータ） (2022-11-28T16:30:46Z) - Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。
ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。
HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
論文 参考訳（メタデータ） (2022-03-29T07:55:08Z) - Rethinking Reconstruction Autoencoder-Based Out-of-Distribution
Detection [0.0]
リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。
本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。
提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
論文 参考訳（メタデータ） (2022-03-04T09:04:55Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Evidence-Aware Inferential Text Generation with Vector Quantised
Variational AutoEncoder [104.25716317141321]
本稿では,大規模なテキストコーパスからイベントの証拠を自動的に発見し,その証拠を利用して推論テキストの生成を導く手法を提案する。
このアプローチは、Event2MindとATOMICの両方のデータセットで最先端のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2020-06-15T02:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。