論文の概要: DeltaTrace: Efficient Signed Attribution for Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2610.25877v1
• Date: Mon, 19 Oct 2026 06:36:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:30:09.733441
• Title: DeltaTrace: Efficient Signed Attribution for Reasoning Language Models
• Title（参考訳）: DeltaTrace: 言語モデルの推論に有効な署名属性
• Abstract要約: 本研究では,文脈内の単語が言語モデルの応答をどのようにサポートするか,あるいはそれに反対するかを考察し,新しい属性フレームワークであるDeltaTraceを提示する。 DeltaTraceは、説明されているコンテキストトークンがマスクされると、レスポンスのログ確率がどのように変化するかを測定する。
• 参考スコア（独自算出の注目度）: 15.933787184904633
• License:
• Abstract: We study how words in the context support or oppose a language model's response and present DeltaTrace, a novel attribution framework that explains the effect of input tokens on a fixed model response. DeltaTrace measures how the response's log-probability changes when the context tokens being explained are masked. To distribute this difference among source tokens, it constructs operator-specific local rules for finite changes and composes them backward through the computational graph using effective secant slopes. Each token is assigned a signed attribution as the inner product of its embedding displacement and the corresponding backward-propagated slope. Local conservation makes these contributions sum to the measured score difference and preserves their meaning when aggregated over sentences or passages. DeltaTrace supports both attention and linear-attention models, with auxiliary memory growing linearly with sequence length at fixed model dimensions and chunk size. On the evaluated attention model, DeltaTrace achieves the lowest deletion-faithfulness scores (RISE and MAS) on most retrieval and reasoning tasks and the highest needle-in-a-haystack Recall, exceeding FlashTrace by 5.67-24.33 percentage points. On the evaluated hybrid attention and linear-attention model, DeltaTrace lowers RISE on 9 tasks and MAS on 12 relative to FlashTrace.
• Abstract（参考訳）: 本研究では,文脈内の単語が言語モデルの応答をどのようにサポートするか,あるいはそれに反対するかを考察し,固定されたモデル応答に対する入力トークンの効果を説明する新しい属性フレームワークであるDeltaTraceを提示する。 DeltaTraceは、説明されているコンテキストトークンがマスクされると、レスポンスのログ確率がどのように変化するかを測定する。 この差分をソーストークン間で分散するために、演算子固有の局所規則を有限変化に対して構成し、効率的なセカント勾配を用いて計算グラフを通して後方に構成する。 各トークンは、その埋め込み変位と対応する後向きの傾斜の内積として符号付き属性が割り当てられる。 局所的な保存は、これらの貢献を測定されたスコア差にまとめ、文や節に集約されたときにその意味を保存する。 DeltaTraceはアテンションモデルとリニアアテンションモデルの両方をサポートし、補助記憶は一定のモデル次元とチャンクサイズで線形に成長する。 評価された注意モデルにおいて、DeltaTraceは、ほとんどの検索および推論タスクにおいて最小の削除信頼スコア(RISEとMAS)を達成し、FlashTraceを5.67-24.33ポイント上回る最も高いニードル・イン・ア・ヘイスタック・リコールを達成した。 評価されたハイブリッドアテンションと線形アテンションモデルに基づいて、DeltaTraceは9タスクでRISEを、FlashTraceに対して12タスクでMASを下げる。

関連論文リスト

• Latent Fact-Checking: Detecting Misinformation through Activation Engineering [1.3299946892361476]
  本稿では,アクティベーションエンジニアリングを基盤とした誤情報検出フレームワークを提案する。 提案手法は,ペアの真理文と偽文のアクティベーションを対比することにより,残流の誤情報方向を導出する。 本手法は,AVeriTeC,LIAR,FACTorsの3つのファクトチェックベンチマークを用いて,11モデルにまたがって評価する。
  論文  参考訳（メタデータ） (2026-08-05T18:00:14Z)
• How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs [52.712343092801326]
  FlowTracerは、注意重み付き非巡回グラフ上で回答対象の推論フローをトレースするRLフレームワークである。 フロースループットによってトークンをスコアし、長期依存を仲介するハイインパクトなハブとアグリゲーションチェックポイントを明らかにする。 これらの重要度はトークンレベルの報酬を形成するために使用され、学習信号は正しい回答に向けて情報をルーティングするトークンに正確に焦点を合わせることができる。
  論文  参考訳（メタデータ） (2026-06-09T09:56:51Z)
• Memory by Design: Probabilistic Sequence Layers [19.16406809753255]
  本稿では,メモリに関する明示的な仮定から,効率的な逐次シーケンスマップを導出する方法を提案する。 設計モデルは、正確なベイズフィルタリングによって証拠を記憶に書き込む。 クエリ依存の読み出しは、平均が層出力である予測分布を生成する。
  論文  参考訳（メタデータ） (2026-05-29T11:13:00Z)
• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Riemannian Patch Assignment Gradient Flows [1.715270928578365]
  本稿では,グラフ上のメトリックデータラベリングのためのパッチ代入フローを提案する。 ラベリングは、ラベルとラベルの代入の両方の動的相互作用によって、初期ローカルラベリングを規則化することによって決定される。
  論文  参考訳（メタデータ） (2025-04-17T15:34:58Z)
• SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
  ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:30:45Z)
• Influence Functions for Sequence Tagging Models [49.81774968547377]
  影響関数を拡張して、予測を学習ポイントまで追跡し、それらに通知します。 本手法を用いて,系統的アノテーションの誤りを同定し,セグメント効果の実用性を示す。
  論文  参考訳（メタデータ） (2022-10-25T17:13:11Z)
• AttriMeter: An Attribute-guided Metric Interpreter for Person Re-Identification [100.3112429685558]
  Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。 CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
  論文  参考訳（メタデータ） (2021-03-02T03:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。