論文の概要: Interdomain Attention: Beyond Token-Level Key-Value Memory

• arxiv url: http://arxiv.org/abs/2605.24330v1
• Date: Sat, 23 May 2026 01:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.936817
• Title: Interdomain Attention: Beyond Token-Level Key-Value Memory
• Title（参考訳）: ドメイン間の注意:Token-Levelキーバリューメモリを超えて
• Authors: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li,
• Abstract要約: 本稿では,カーネルメソッドを通じてSSMをアテンションモジュールに統合するインタードメインアテンションを提案する。 注意カーネルは有限特徴写像によって近似され、結果として得られる主要な特徴と値は、基底関数の共有集合に投影される。 それぞれのクエリは、自身の特徴マップを通じて圧縮された係数に対応し、固定サイズの状態上でクエリ条件付き注意を回復する。
• 参考スコア（独自算出の注目度）: 15.708551010135407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers and deep state space models (SSMs) sit at opposite ends of a basic design choice: attention routes each query through a growing key-value (KV) cache by content-based matching at quadratic cost, while deep SSMs compress context into a fixed-size recurrent state that is not directly addressed by query-key matching. We propose Interdomain Attention, which integrates an SSM into an attention module through kernel methods: an attention kernel is approximated by a finite feature map, the resulting key features and values are projected onto a shared set of basis functions maintained by a single SSM recurrence, and each query attends to the compressed coefficients through its own feature map, recovering query-conditioned attention over a fixed-size state. The scalable layer is a learned relaxation of this derivation, and we validate its components through ablations. In a 125M to 1.3B autoregressive language-modeling study on FineWeb-Edu at matched recurrent-state budget, Interdomain Attention improves on an SSM token mixer at every scale, surpasses a same-recipe softmax baseline at 1.3B on validation perplexity and on the eight-task commonsense suite, and inherits the length-flat behavior of its fixed-state core out to 3.5x the training context. Ablations indicate that the query-conditioned projection is the main source of the gain.
• Abstract（参考訳）: トランスフォーマーとディープステートスペースモデル(SSM)は基本的な設計選択の反対端に置かれる: 注意は、クエリが増大するキー値(KV)キャッシュをコンテンツベースマッチングによって2次コストでルーティングする一方、ディープSSMはコンテキストをクエリキーマッチングに直接対応しない固定サイズのリカレントステートに圧縮する。 注意カーネルを有限特徴写像で近似し、得られた主要な特徴と値が単一のSSM繰り返しで保持される基本関数の共有セットに投影され、各クエリはそれぞれの特徴写像を介して圧縮された係数に共役し、クエリ条件付き注意を固定サイズ状態に復元する。 スケーラブルなレイヤは、この派生の学習的な緩和であり、アブレーションを通じてそのコンポーネントを検証する。 125Mから1.3BのFineWeb-Eduにおける自動回帰言語モデリング研究において、インタードメイン注意は、すべてのスケールでSSMトークンミキサーを改善し、検証の複雑さと8タスクのコモンセンススイートで1.3Bで同じレシピのソフトマックスベースラインを越え、固定状態コアの長さ平らな振る舞いをトレーニングコンテキストの3.5倍まで継承する。 アブレーションは、クエリ条件付きプロジェクションがゲインの主なソースであることを示している。

関連論文リスト

• StructKV: Preserving the Structural Skeleton for Scalable Long-Context Inference [38.75965915663233]
  構造対応のKVキャッシュ圧縮フレームワークであるStructKVを提案する。 まず、Global In-Degree Centralityは、ネットワーク奥行きの注意パターンを集約し、グローバルな情報ハブを特定する。 第二に、Dynamic Pivot Detectionは情報理論のメトリクスを使って、圧縮のための最適な層を適応的に見つける。
  論文  参考訳（メタデータ） (2026-04-08T07:10:35Z)
• BALD-SAM: Disagreement-based Active Prompting in Interactive Segmentation [12.449732626554967]
  本稿では,ベイジアンアクティブラーニングを空間的プロンプト選択に適応させる原理的枠組みであるBALD-SAMを提案する。 BALD-SAMは16ベンチマークのうち、第1または第2のクロスドメインパフォーマンスを示している。 3つのSAMバックボーンと35個のLaplace後部構成を含む包括的アブレーションスイートを用いて,これらの利得を検証した。
  論文  参考訳（メタデータ） (2026-03-11T14:34:55Z)
• LaSSM: Efficient Semantic-Spatial Query Decoding via Local Aggregation and State Space Models for 3D Instance Segmentation [21.566771922153027]
  競争性能を維持しつつ、シンプルさと効率性を優先するLaSSMを紹介します。 また、問合せを段階的に洗練する座標誘導状態空間モデル(SSM)デコーダを提案する。 LaSSMは最新のScanNet++ V2リーダーボードで1位にランクインし、以前のベストメソッドよりも2.5% mAP、1/3 FLOPを上回っている。
  論文  参考訳（メタデータ） (2026-02-11T16:34:12Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models [44.28116882776357]
  textbfPunctuation-aware textbfHybrid textbfSparse textbfAttention textbf(PHSA)を提案する。 具体的には,大域的セマンティック表現と句読点付き境界特徴を融合させ,コアセマンティック構造を保ちながら,計算オーバーヘッドをほとんど含まない二重ブランチアグリゲーション機構を設計する。
  論文  参考訳（メタデータ） (2026-01-06T08:47:16Z)
• Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing [55.291219073365546]
  Open-Vocabulary Remote Sensing Image (OVRSIS)は、OVS(Open-Vocabulary)をリモートセンシング(RS)ドメインに適応させる新しいタスクである。 textbfRSKT-Segは、リモートセンシングに適した新しいオープン語彙セグメンテーションフレームワークである。 RSKT-Segは高いOVSベースラインを+3.8 mIoUと+5.9 mACCで上回り、効率的なアグリゲーションによって2倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-09-15T15:24:49Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• RCMHA: Relative Convolutional Multi-Head Attention for Natural Language Modelling [0.0]
  相対的マルチヘッドアテンション(RMHA)は、他のアテンションモジュールと比較して0.572のスコアを持つ。 RMHAは、3.5GBを必要とするRMHAを上回り、平均2.98GBの消費を誇っている。
  論文  参考訳（メタデータ） (2023-08-07T09:24:24Z)
• Unveiling the Potential of Structure-Preserving for Weakly Supervised Object Localization [71.79436685992128]
  本稿では,WSOLの畳み込み機能に組み込まれた構造情報を完全に活用するための2段階構造保存アクティベーション(SPA)を提案する。 第1段階では、分類ネットワークによって引き起こされる構造ミス問題を軽減するために制限アクティベーションモジュール(ram)が設計されている。 第2段階では, 自己相関マップ生成(SCG)モジュールと呼ばれるプロセス後アプローチを提案し, 構造保存ローカライゼーションマップを得る。
  論文  参考訳（メタデータ） (2021-03-08T03:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。