論文の概要: Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth

• arxiv url: http://arxiv.org/abs/2608.01075v1
• Date: Sun, 02 Aug 2026 08:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.078086
• Title: Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth
• Title（参考訳）: 役割分離型アテンション残余:奥行きのマッチングとコンテンツ検索の分離
• Abstract要約: Role-Decoupled Attention Residuals (RD-AttnRes)を紹介する。 RD-AttnResは、クエリとキーの間の1つの深さルートを共有し、同じ残元上の独立した値ルートを学習する。 RD-AttnResをFineWeb-Edu上でフリーズ・ペア・プレトレーニングプロトコルを用いて評価する。
• 参考スコア（独自算出の注目度）: 1.2973070941583096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth-routing residual architectures allow Transformer layers to retrieve earlier representations instead of inheriting only the immediately preceding state. Existing Block Attention Residuals, however, use a single content-dependent depth mixture to construct the inputs to queries, keys, and values. This design couples two functionally different decisions: queries and keys determine where attention matches, whereas values determine what content is retrieved. We therefore ask whether matching and content retrieval should be forced to read from the same depth. We introduce Role-Decoupled Attention Residuals (RD-AttnRes), a minimal extension that shares one depth route between queries and keys while learning an independent value route over the same residual sources. Tying the two routing queries exactly recovers the parent architecture, while decoupling them adds only one model-width vector per layer and introduces no additional token-to-token attention operation. We evaluate RD-AttnRes using a frozen, paired pretraining protocol on FineWeb-Edu with five matched seeds for both 120M- and 343M-parameter models and a 2.0B-token training budget. RD-AttnRes improves validation negative log-likelihood in all 10 matched comparisons. The mean reductions are 0.0301 and 0.0247, corresponding to perplexity reductions of 2.97 percent and 2.43 percent at 120M and 343M parameters, respectively. Early-budget controls indicate that neither the additional parameter count, duplicated routing execution, nor a fixed value route reproduces the improvement. Routing diagnostics further reveal persistent divergence between the query-key and value depth distributions. These results suggest that, within the evaluated training regime, attention matching and content retrieval benefit from distinct reads over the residual hierarchy.
• Abstract（参考訳）: 奥行きの残余アーキテクチャにより、Transformer層は直前の状態のみを継承するのではなく、以前の表現を検索できる。 しかし、既存のBlock Attention Residualsは、クエリ、キー、値への入力を構築するために、単一のコンテンツ依存の深さ混合を使用する。 この設計では、クエリとキーがどのアテンションが一致するかを決定するのに対して、値はどのコンテンツが検索されるかを決定する。 したがって、マッチングとコンテンツ検索は同じ深さから読み込まなければならないかどうかを問う。 Role-Decoupled Attention Residuals (RD-AttnRes) は、クエリとキー間の1つの深さルートを共有する最小限の拡張であり、同じ残元上の独立した値ルートを学習する。 2つのルーティングクエリのタイピングは、親アーキテクチャを正確に回復し、デカップリングは、レイヤ毎に1つのモデル幅ベクトルのみを追加し、トークンからトークンへの注意操作を追加しない。 RD-AttnResをFineWeb-Edu上の凍結・ペアプレトレーニングプロトコルを用いて評価し,120Mおよび343Mのパラメータモデルと2.0Bのトレーニング予算で一致した5つの種を比較検討した。 RD-AttnResは、マッチした10個の比較すべてにおいて、バリデーション陰性なログ類似性を改善する。 平均減算は0.0301と0.0247であり、それぞれ2.97%、120Mと343Mで2.43%である。 早期予算制御は、追加のパラメータカウント、重複ルーティング実行、固定値ルートが改善を再現しないことを示している。 ルーティング診断は、クエリキーと値深さ分布の永続的なばらつきをさらに明らかにする。 これらの結果は、評価されたトレーニング体制において、アテンションマッチングとコンテンツ検索は、下位階層の異なる読み出しから恩恵を受けることを示唆している。

関連論文リスト

• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• Interdomain Attention: Beyond Token-Level Key-Value Memory [15.708551010135407]
  本稿では,カーネルメソッドを通じてSSMをアテンションモジュールに統合するインタードメインアテンションを提案する。 注意カーネルは有限特徴写像によって近似され、結果として得られる主要な特徴と値は、基底関数の共有集合に投影される。 それぞれのクエリは、自身の特徴マップを通じて圧縮された係数に対応し、固定サイズの状態上でクエリ条件付き注意を回復する。
  論文  参考訳（メタデータ） (2026-05-23T01:18:00Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• TRU: Targeted Reverse Update for Efficient Multimodal Recommendation Unlearning [10.314982171290835]
  マルチモーダル・レコメンデーション・システム (MRS) は, ユーザ・イテム相互作用グラフとリッチアイテム・コンテントを共同でモデル化するが, この密結合により学習後, ユーザデータの除去が困難になる。 近似マシンアンラーニング(英語版)は、完全な再トレーニングに代わる効率的な代替手段を提供するが、MSSの既存の方法は、主にモデル全体のほぼ均一な逆更新に依存している。 削除データの影響は均一に分散されていないが、テクトit rankの振る舞い、テクトモダリティのブランチ、およびテクトitnetwork層に不均一に集中している。
  論文  参考訳（メタデータ） (2026-04-02T15:45:03Z)
• When Does Content-Based Routing Work? Representation Requirements for Selective Attention in Hybrid Sequence Models [0.0]
  ハイブリッドリカレントアテンションアーキテクチャにおけるルーティングパラドックスを同定する。 コンテンツベースのルーティングは、ルーティングが避けるように設計されたペアワイズな計算を必要とすることを示す。
  論文  参考訳（メタデータ） (2026-03-22T01:04:57Z)
• Route-DETR: Pairwise Query Routing in Transformers for Object Detection [11.46025964297103]
  Detection Transformer (DETR) はオブジェクト検出のためのエンドツーエンドソリューションを提供する。 DETRは、複数のクエリが同じ位置に収束する非効率なクエリ競合に悩まされている。 本稿では,デコーダの自己アテンション層における適応的ペアワイズルーティングを通じて,これらの問題に対処するRoute-DETRを提案する。
  論文  参考訳（メタデータ） (2025-12-15T20:26:58Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• Hybrid Deep Searcher: Integrating Parallel and Sequential Search Reasoning [57.78245296980122]
  本稿では,自然質問から自動生成されるデータセットであるHDS-QA(Hybrid Deep Search QA)を紹介する。 並列化可能な独立サブクエリ(同時に実行可能)と逐次依存サブクエリ(ステップバイステップの解決を必要とする)を組み合わせたハイブリッドホップ質問を含む。 モデルの名称はHybridDeepSearcherで、複数のベンチマークで最先端のベースラインを上回っています。
  論文  参考訳（メタデータ） (2025-08-26T15:15:17Z)
• VisRet: Visualization Improves Knowledge-Intensive Text-to-Image Retrieval [56.12310817934239]
  クロスモーダルな埋め込みは概念の袋として振る舞うが、ポーズや視点のような構造的な視覚的関係が不足している。 この制限を緩和するT2I検索のための新しいパラダイムであるVisualize-then-Retrieve (VisRet)を提案する。 VisRetは、T2I検索をテキスト間類似性マッチングとして再キャストする、モーダル間の類似性マッチングとベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2025-05-26T17:59:33Z)
• Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation [103.90033029330527]
  FSIS(Few-Shot Instance)は、サポート例が限定された新しいクラスの検出とセグメンテーションを必要とする。 我々は、FSISのサポートとクエリ機能の関係を利用するための統合フレームワーク、Reference Twice(RefT)を導入する。
  論文  参考訳（メタデータ） (2023-01-03T15:33:48Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。