論文の概要: Improving the Expressive Power of Hybrid Sequence Models via Multi-Hop Retrieval

• arxiv url: http://arxiv.org/abs/2610.25250v1
• Date: Sun, 18 Oct 2026 13:10:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:29:50.650579
• Title: Improving the Expressive Power of Hybrid Sequence Models via Multi-Hop Retrieval
• Title（参考訳）: マルチホップ検索によるハイブリッドシーケンスモデルの表現力向上
• Abstract要約: 本稿では,共有KVキャッシュからのマルチホップ検索を可能にするシンプルなアーキテクチャである,emphMulti-hop Retrieval Attention (MuRA)ハイブリッドブロックを提案する。 1つの固定サイズ$m$hop MuRAブロックが$m$-functionコンポジションを計算できるのに対し、同じ検索深さを持つ$(m+1)$-functionコンポジションはモデルサイズを必要とする。
• 参考スコア（独自算出の注目度）: 31.220440677181745
• License:
• Abstract: Hybrid architectures offer a promising approach to efficient language modeling by combining a small number of full-attention layers with a larger number of efficient sequence layers, such as sparse attention and recurrent layers. While full-attention layers maintain a KV cache that grows linearly with sequence length, efficient layers typically rely on separate, fixed-size states rather than accessing this richer existing memory. Recent work has begun exploring ways to allow efficient layers access to the KV cache, but the theoretical benefits of such access, and the extent to which existing approaches can realize them remain poorly understood. We investigate these questions by analyzing the expressive power of individual hybrid blocks on function composition, a well-studied task in sequence-model expressivity associated with multi-hop reasoning. We first establish that both conventional hybrid blocks and those with top-$κ$ KV-cache access require $Ω(\sqrt{n})$ capacity to compute even two-function composition over a domain of size $n$. To overcome this limitation, we introduce the \emph{Multi-hop Retrieval Attention} (MuRA) hybrid block, a simple architecture that enables multi-hop retrieval from a shared KV cache while preserving asymptotic computational and memory efficiency. We prove that a single fixed size $m$-hop MuRA block can compute $m$-function composition, whereas computing $(m+1)$-function composition with the same retrieval depth requires polynomial model size, establishing a strict expressivity hierarchy in retrieval depth. Synthetic experiments support this hierarchy, showing that increasing retrieval depth enables learning progressively deeper compositions, substantially outperforming existing hybrid architectures. Together, our results identify multi-hop retrieval as a promising mechanism for improving the expressive power of efficient hybrid architectures.
• Abstract（参考訳）: ハイブリッドアーキテクチャは、少数のフルアテンション層と、スパースアテンションやリカレント層といった多くの効率的なシーケンス層を組み合わせることで、効率的な言語モデリングに有望なアプローチを提供する。 フルアテンション層はシーケンス長とともに線形に成長するKVキャッシュを維持しているが、効率的なレイヤは通常、このリッチな既存のメモリにアクセスするのではなく、分離された固定サイズの状態に依存している。 最近の研究は、効率的なレイヤがKVキャッシュにアクセスできるようにする方法を模索している。 マルチホップ推論に係わるシーケンスモデル表現性に関するよく研究された課題である関数合成における個々のハイブリッドブロックの表現力を解析することにより,これらの課題を考察する。 まず、従来のハイブリッドブロックと、上位$κ$ KV-cacheアクセスを持つブロックの両方に$Ω(\sqrt{n})$容量が必要であることを証明した。 この制限を克服するために,共用KVキャッシュからのマルチホップ検索が可能な,漸近計算とメモリ効率を保ちつつ,簡単なアーキテクチャである \emph{Multi-hop Retrieval Attention} (MuRA) ハイブリッドブロックを導入する。 1つの固定サイズ$m$-hop MuRAブロックが$m$-functionコンポジションを計算できるのに対し、同じ検索深さを持つ$(m+1)$-functionコンポジションは多項式モデルサイズを必要とし、検索深さに厳密な表現性階層を確立する。 合成実験はこの階層をサポートし、検索深度の増加は徐々に深い構成を学習し、既存のハイブリッドアーキテクチャを著しく上回ることを示す。 その結果,効率的なハイブリッドアーキテクチャの表現力向上のメカニズムとして,マルチホップ検索が期待できることがわかった。

関連論文リスト

• Coupled Hierarchical Search over Topology and Execution for Agentic Workflow Synthesis [64.2820121997882]
  エージェントワークフロー設計を自動化する,トレーニング不要でテスト時の階層型検索アーキテクチャであるHierFlowを紹介した。 HierFlowはインテリジェントなゲーティングモジュールを通じて効率を最大化し、コンテキスト要求に基づいて実行レベル検索を選択的にトリガーする。 質問応答、数学的推論、コード生成ベンチマークにわたる包括的なテストは、HierFlowが一貫して強力なベースラインを上回っていることを確認する。
  論文  参考訳（メタデータ） (2026-05-20T01:56:11Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [51.89707241449435]
  本稿では,高分解能表現CNNにマルチヘッド自己認識を効率よく組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• HyperZ$\cdot$Z$\cdot$W Operator Connects Slow-Fast Networks for Full Context Interaction [0.0]
  自己注意機構は、ドット製品ベースのアクティベーションを通じてプログラムされた大きな暗黙の重み行列を利用して、訓練可能なパラメータがほとんどないため、長いシーケンスモデリングを可能にする。 本稿では,ネットワークの各層におけるコンテキストの完全な相互作用を実現するために,大きな暗黙のカーネルを用いて残差学習を破棄する可能性について検討する。 このモデルにはいくつかの革新的なコンポーネントが組み込まれており、遅いネットワークを更新するための局所的なフィードバックエラー、安定なゼロ平均機能、より高速なトレーニング収束、より少ないモデルパラメータなど、優れた特性を示している。
  論文  参考訳（メタデータ） (2024-01-31T15:57:21Z)
• Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
  E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。 パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。 E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-15T03:08:25Z)
• Make Deep Networks Shallow Again [6.647569337929869]
  余剰接続の概念によってブレークスルーが達成されている。 残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。 言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
  論文  参考訳（メタデータ） (2023-09-15T14:18:21Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。