論文の概要: RIFT: Token Influence Follows the Path of Least Resistance

• arxiv url: http://arxiv.org/abs/2610.16349v1
• Date: Mon, 12 Oct 2026 08:06:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:24:07.077377
• Title: RIFT: Token Influence Follows the Path of Least Resistance
• Title（参考訳）: RIFT: Token Influence Follows the Path of Least resistance
• Abstract要約: アテンションロールアウトやアテンションフローのようなグラフベースのツールは、これを1つのフォワードパスから答える。 我々はデコーダの層を,コンダクタンスを注意重みとする因果ネットワークとみなす。 本稿では,最小抵抗の経路の直列抵抗でトークンをスコアリングするRIFTを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Which context tokens drive a language model's answer? Graph-based tools such as attention rollout and attention flow answer this from a single forward pass, yet their faithfulness in decoder-only models is rarely tested against interventions. We view the layers of a decoder as a causal network whose conductances are attention weights, and read a token's influence on the answer from the resistance between them. We propose RIFT (Resistance-based Information Flow in Transformers), which scores a token by the series resistance of its path of least resistance to the answer, found exactly by a classic shortest-path dynamic program. On synthetic in-context retrieval tasks and extractive question answering over Wikipedia paragraphs, RIFT predicts the effect of replacing a token with a Spearman correlation of 0.52-0.68; predicting a single replacement, it reaches 77-96% of the agreement between two different random replacements. It needs no gradients and no extra forward passes, scoring every token of a prompt in 0.9-3.4 ms on one CPU thread, whereas the replacement experiment needs a forward pass per token. On 576 held-out prompts from four models of two families (Qwen3 and Llama 3.2), it outperforms token distance, attention rollout and attention flow in every pre-specified comparison, by 0.23 to 0.88 in mean Spearman correlation, and it is the best or tied-best of all attention-based scores we test. Aggregates that add up all routes (attention flow, effective resistance and rollout) instead mostly encode token position: as a simple proposition shows, early tokens have many more parallel routes to the answer.
• Abstract（参考訳）: どのコンテキストトークンが言語モデルの答えを駆動しますか? アテンションロールアウトやアテンションフローといったグラフベースのツールは、これを1つのフォワードパスから答えるが、デコーダのみのモデルに対する忠実さは、介入に対してテストされることはめったにない。 我々は、デコーダの層を、コンダクタンスが注意重みとなる因果ネットワークと見なし、それらの間の抵抗から応答に対するトークンの影響を読み取る。 我々は,古典的最短パス動的プログラムによって正確に検出された,応答に対する抵抗の少ない経路の直列抵抗によりトークンをスコアするRIFT(Resistance-based Information Flow in Transformers)を提案する。 構文内検索タスクとウィキペディアの段落に対する抽出質問応答において、RIFTはトークンをスピアマンの相関式 0.52-0.68 に置き換える効果を予測し、一つの置換を予測し、2つの異なるランダム置換の合意の77-96%に達する。 1つのCPUスレッドで0.9-3.4msのプロンプトのトークンをスコア付けするが、置換実験ではトークンごとにフォワードパスを必要とする。 2つのファミリーの4つのモデル(Qwen3とLlama 3.2)からの576のホールトアウトプロンプトでは、トークン距離、アテンションロールアウト、アテンションフローを、スピアマン相関平均0.23から0.88で上回り、テストしたすべてのアテンションベーススコアのベストまたはタイトベストである。 すべてのルート(アテンションフロー、効果的な抵抗、ロールアウト)を加算する集約は、トークンの位置を符号化する。

関連論文リスト

• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment [11.183409570425944]
  オンライン強化学習フレームワークであるCounterRouteを導入し、ひとつの共有ポリシでルーティングとモード条件の応答を共同で学習する。 CounterRoute は GRP よりも精度と効率のバランスを良くし、適応ラウティング法を学習し、Qwen3 のどちらのスケールでもマクロ平均精度を向上させる。 数学と合成命令追跡データのみを訓練するが、そのルーティングと応答の質は、コーディング、科学、知識、常識の保持されたタスクに一般化する。
  論文  参考訳（メタデータ） (2026-09-24T06:39:23Z)
• How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework [1.4721615285883427]
  近年のLCMのホワイトボックスOOD法は, 配列長によって構造的に整合化されている。 長さ整合評価下において, ほぼ一致で崩壊することを示す。 分解後の真のOOD信号を特定するために,2経路の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-04-30T22:06:02Z)
• Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
  本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。 メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
  論文  参考訳（メタデータ） (2026-04-23T18:30:01Z)
• CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
  本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。 時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。 実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
  論文  参考訳（メタデータ） (2026-03-06T16:39:17Z)
• Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
  シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。 TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:02Z)
• REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
  reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。 ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。 高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
  論文  参考訳（メタデータ） (2025-10-06T02:48:13Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。