論文の概要: Who Asks, Who Answers: Linear Attention Builds the Query in Hybrid Language Models

• arxiv url: http://arxiv.org/abs/2611.01909v1
• Date: Sun, 01 Nov 2026 13:50:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:18:01.980782
• Title: Who Asks, Who Answers: Linear Attention Builds the Query in Hybrid Language Models
• Title（参考訳）: 線形注意はハイブリッド言語モデルでクエリを構築する
• Abstract要約: 我々は,線形注意が,ソフトマックスアテンションが使用するクエリを構築することで,検索において直接的な役割を担っていることを示す。 6つのQwen3.5モデルにまたがって、Addressは一連のブロックにまたがって大規模に分散され、それぞれが連続したリーダーを導く。
• 参考スコア（独自算出の注目度）: 8.734838965004977
• License:
• Abstract: Hybrid language models interleave linear-attention layers with a small number of softmax-attention layers. Prior work largely attributes in-context retrieval to softmax attention, treating linear attention primarily as a mechanism for compressing past context. We revisit this division of labor and show that linear attention plays a direct role in retrieval by constructing the query used by softmax attention. Studying Qwen3.5 (Gated DeltaNet) and Granite4.0 (Mamba-2), we identify an Encode--Address circuit. An early Encode block preserves token identity, while an Address block constructs the final-position representation from which a softmax \emph{reader} forms its attention query. Transplanting this representation between prompts with different queried keys redirects retrieval in 0.97--0.99 of cases. The Address block's recurrent state carries the retrieval target, and its computation transfers across architectures: replacing Granite's Address block with Qwen's restores retrieval accuracy to 0.92--0.94 without updating either model's weights. Across six Qwen3.5 models, Address computation becomes distributed at larger scales over a chain of blocks, each guiding a successive reader, as the query no longer passes from one reader to the next through attention. These findings reveal a division of labor in hybrid retrieval: linear attention constructs the query, while softmax attention performs the lookup. Code is available at https://github.com/yuang-chen/LinearQuery
• Abstract（参考訳）: ハイブリッド言語モデルは、少数のソフトマックスアテンション層を持つ線形アテンション層をインターリーブする。 以前の研究は、主にコンテキスト内検索をソフトマックスアテンションに特化しており、主に過去のコンテキストを圧縮するメカニズムとして線形アテンションを扱います。 我々はこの作業の分割を再考し、線形注意がソフトマックスの注意によって使用されるクエリを構築することにより、検索において直接的な役割を担っていることを示す。 Qwen3.5(Gated DeltaNet)とGranite4.0(Mamba-2)について,Encode-Address回路を同定する。 初期エンコードブロックはトークンのIDを保持し、アドレスブロックは、ソフトマックス \emph{reader} がアテンションクエリを形成する最終配置表現を構成する。 この表現を異なるクエリキーを持つプロンプト間で移植すると、検索を0.97-0.99のケースでリダイレクトする。アドレスブロックのリカレント状態は、検索ターゲットを持ち、その計算はアーキテクチャ間で転送される。グラナイトのアドレスブロックをQwenのアドレスブロックに置き換えることで、どちらのモデルの重みも更新することなく、検索精度を0.92-0.94に更新する。 6つのQwen3.5モデルにまたがって、アドレス計算はブロックのチェーン上で大規模に分散される。 線形アテンションはクエリを構成するが、ソフトマックスアテンションはルックアップを実行する。 コードはhttps://github.com/yuang-chen/LinearQueryで入手できる。

関連論文リスト

• The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends [51.17628561637134]
  自己アテンションは、LLMにコンテキストへの細粒度でクエリ依存のアクセスを与える。 本調査は, モデル内コンテクストメモリとしての開発状況を解析する。
  論文  参考訳（メタデータ） (2026-09-30T13:03:01Z)
• Don't Read Everything: A Curvature-Conditioned Query for Linear Attention [42.02790959450039]
  リニアアテンションは、繰り返し発生する高速な状態を維持することでソフトマックスアテンションの二次コストを低減する。 既存のリメディエーションは、ゲーティング、デルタ更新、カーネル機能マップを通じて、メモリの書き込み側に作用する。 我々は、より安価なクエリの読み取り時間縮約を構築するために、Softmaxの幾何学の特定の部分を借りる。 このメカニズムを Curvature-Conditioned Query (CCQ) と呼ぶ。 S-NIAHはトレーニングコンテキストの前後でのパープレキシティ、ゼロショットダウンストリーム精度、S-NIAH検索、4Kから20Kまでの長さのパープレキシティ、Longを改善する
  論文  参考訳（メタデータ） (2026-05-31T15:25:42Z)
• From Item-Only to Query-Item: Query-Conditioned Generative Search with QGS in Quark [8.408261237886899]
  生成シーケンスモデルは推奨に強い結果を示している。 それらを検索ランキングに適用することは、もっと難しい。 本稿では,QGS(Query-Conditioned Generative Search)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:18:51Z)
• Surface-Form Neural Sparse Retrieval: Robust Fuzzy Matching for Industrial Music Search [6.820455959856271]
  クエリは、ミススペル、トランスポジション、音声のバリエーションによるインデックス付きメタデータから頻繁に逸脱する。 既存の学習・検索システムであるHigh Confidence Index (HCI)は、顧客の行動からクエリ・エンティティ・アソシエーションを学習する。 従来のn-gramマッチングは、この探索を可能にするが、セマンティックロバスト性や高雑音に悩まされる。 本稿では,探索効率を最大化するために,テキストフロバスト型ニューラルスパース検索システムを提案する。
  論文  参考訳（メタデータ） (2026-05-18T02:29:25Z)
• LARGER: Lexically Anchored Repository Graph Exploration and Retrieval [9.90137784523552]
  リポジトリレベルのコーディングエージェントは、まずタスクに関連するファイルとシンボルをローカライズする必要がある。 既存のアプローチでは、エージェントのインタラクションループを断片化する別々のグラフツールやステージが必要になることが多い。 LARGER(Lexically anchored active-set search framework)は、語彙マッチングから始まり、それらをグラフアンカーにアライメントし、エージェントの既存のサーチループ内で信頼フィルタリングされた局所展開を実行する。
  論文  参考訳（メタデータ） (2026-05-08T05:03:46Z)
• MDER-DR: Multi-Hop Question Answering with Entity-Centric Summaries [2.756584457554517]
  Map-Disambiguate-Enrich-Reduce (MDER)はコンテキスト由来の3重記述を生成し、エンティティレベルの要約と統合する。 Decompose-Resolve (DR)は、ユーザクエリを解決可能なトリプルに分解し、知識グラフに格納する。 MDERとDRはLLM駆動のQAパイプラインを形成し、スパース、不完全、複雑なリレーショナルデータに対して堅牢である。
  論文  参考訳（メタデータ） (2026-03-11T18:38:44Z)
• Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
  大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。 LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。 本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:00:40Z)
• Knowledge Graph Completion with Relation-Aware Anchor Enhancement [50.50944396454757]
  関係認識型アンカー強化知識グラフ補完法(RAA-KGC)を提案する。 まず、ヘッダーのリレーショナル・アウェア・エリア内でアンカー・エンティティを生成します。 次に、アンカーの近傍に埋め込まれたクエリを引っ張ることで、ターゲットのエンティティマッチングに対してより差別的になるように調整する。
  論文  参考訳（メタデータ） (2025-04-08T15:22:08Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Session-Aware Query Auto-completion using Extreme Multi-label Ranking [61.753713147852125]
  本稿では,セッション対応クエリ自動補完の新たな手法を,XMR(Multi Multi-Xtreme Ranking)問題として取り上げる。 アルゴリズムのキーステップにいくつかの修正を提案することにより、この目的のために一般的なXMRアルゴリズムを適応させる。 当社のアプローチは、セッション情報を活用しながら、自動補完システムの厳しいレイテンシ要件を満たします。
  論文  参考訳（メタデータ） (2020-12-09T17:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。