論文の概要: Evaluating Trajectory Features for Routing Final-Layer Attention

• arxiv url: http://arxiv.org/abs/2610.09272v1
• Date: Wed, 07 Oct 2026 01:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.667936
• Title: Evaluating Trajectory Features for Routing Final-Layer Attention
• Title（参考訳）: 最終段階の注意をルーティングするための軌道特性の評価
• Abstract要約: 隠れ状態外挿誤差、曲率、誤差変化が不確実性を超えた予測を改善するかどうかを評価する。 実用性管理ルータは、PG-19の100冊の本で、同じ因果関係の20%の呼び出しクォータでテストされている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention routing requires a signal that predicts the value of attention on the current prefix. We evaluate whether hidden-state extrapolation error, curvature and error change improve this prediction beyond uncertainty, one-step displacement, position and state projections. Paired executions of the final attention layer supply signed next-token loss differences in frozen SmolLM3-3B-Base and Qwen3.5-4B-Base checkpoints. Utility-supervised routers are tested on 100 held-out PG-19 books at an identical causal 20 percent invocation quota. None of six prespecified comparisons shows a positive gain after familywise correction. In Qwen3.5, a parameter-matched fixed-projection control lowers NLL by 0.00356 nats/token relative to the trajectory router (95 percent interval 0.00218 to 0.00487). Secondary results depend on the operation removed, feature location and scoring horizon; frozen thresholds also drift substantially at longer horizons. Actual selected-query execution yields small long-sequence latency reductions with increased NLL, while learned routers remain slower during cached continuation. The study identifies limits on the incremental value of these trajectory summaries and separates allocation quality from measured inference benefit.
• Abstract（参考訳）: 注意ルーティングには、現在の接頭辞の注意値を予測する信号が必要である。 本研究では, 隠れ状態外挿誤差, 曲率, 誤差変化が不確実性, ワンステップ変位, 位置および状態予測を超えた予測を改善するか否かを評価する。 凍結したSmolLM3-3BベースとQwen3.5-4B-Baseチェックポイントの次点損失差に、最終注目層供給のペア実行が署名された。 実用性管理ルータは、PG-19の100冊の本で、同じ因果関係の20%の呼び出しクォータでテストされている。 事前に特定された6つの比較では、家族的修正後の正の利得は示されていない。 Qwen3.5では、パラメータマッチングされた固定投影制御により、軌跡ルータ(95%間隔0.00218〜0.00487)に対してNLLを0.00356ナット/トーケンで低下させる。 二次的な結果は、除去された操作、特徴位置、採点地平線に依存する。 実際に選択されたクエリの実行は、キャッシュされた継続の間、学習したルータが遅いままで、NLLの増加とともに、短いシーケンスの遅延を減少させる。 本研究は,これらのトラジェクティブ・サマリーの漸進的な値の限界を特定し,アロケーション品質を測定値から分離する。

関連論文リスト

• Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers [14.727396825167917]
  We audit that reading for routing entropy in Attention-Residual (AR)variants of Swin-Tiny and DeiT-Small。 我々は、このトレースが、モデル自身の自信が明らかにしている以上の正確性に関する情報を持っているかどうかを問う。
  論文  参考訳（メタデータ） (2026-10-01T11:37:19Z)
• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
  視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
  論文  参考訳（メタデータ） (2026-09-29T17:49:07Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• Excitation-Supervised Closed-Loop Self-Calibration and Target Seeking for an Unknown-Pose Range-Bearing Relay [0.0]
  本論文は、識別可能性を管理する閉ループ層を提供する。 励起教師付きアルゴリズムは、励起リセットコントローラを監督するために使用される。 崩壊率のスイープは、固定されたスケジュールの崩壊が未知の時間から適切な励振を追い越すとき、監督が重要であることを示している。
  論文  参考訳（メタデータ） (2026-08-12T19:00:07Z)
• Paired Exact-Reset Evaluation of a Prediction-Derived Medium-to-Full World-Model Cascade [0.0]
  ペア化された正確な物理結果の下では、Mediumベースのインターフェースは、個別に凍結されたFull予測器に切り替えた時に、シーケンシャルなオーバーヘッドを正当化するのに十分なタスク固有の決定損失を改善することができるか? 私たちのコントリビューションは、新しい汎用ルーティングルールではなく、ペア評価と監査プロトコルです。
  論文  参考訳（メタデータ） (2026-07-30T18:35:13Z)
• The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass [9.8812664524155]
  最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。 本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。
  論文  参考訳（メタデータ） (2026-05-08T05:45:52Z)
• Target Networks and Over-parameterization Stabilize Off-policy Bootstrapping with Function Approximation [46.48569176651487]
  オフ・プライシ・データにおいても,ブートストラップ値推定の収束条件が弱くなることを証明する。 計算結果をトラジェクトリによる学習に拡張し、小さな修正を施した全てのタスクに対して収束が達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T17:36:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。