論文の概要: The Key Handoff: Retrieval in Hybrid Language Models

• arxiv url: http://arxiv.org/abs/2609.32942v1
• Date: Sat, 26 Sep 2026 21:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:43:21.513364
• Title: The Key Handoff: Retrieval in Hybrid Language Models
• Title（参考訳）: キー・ハンドオフ:ハイブリッド言語モデルの検索
• Abstract要約: 2ホップの質問は、言語モデルを2回回収する。 トランスフォームはブリッジエンティティを初期層で解決する。 ハイブリッドモデルは、ほとんどの注意を反復状態に置き換える。 キーが使えるようになり、答えに費やされる場所は分かっていない。
• 参考スコア（独自算出の注目度）: 4.29150579668422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A two-hop question makes a language model retrieve twice: once to produce a bridge entity, and once to retrieve with it. Transformers resolve that entity in their early layers. Hybrid models replace most of the attention with a recurrent state, so where the key becomes usable, and where it is spent on an answer, is not known. Answering "Where is the ball?" from "the ball belongs to Alice" and "Alice is in the garden" turns on Alice, a name the question does not mention. A model could reach garden through Alice, the key it computed, or through where the fact sits in the prompt. Across twelve models, dense and hybrid, we move a hidden state from one story into another where the two routes lead to different places, and read off which place the model gives. An attention layer converts the key in every model we tested, and crossing that layer removes its usable effect, all of it where no attention follows. In sequential hybrids this makes the answer a handoff: recurrent layers carry the key forward, and attention spends it. Retrieval does not always stop there. Writing a different fact into the memory of the recurrent layers that follow the last attention layer can move the answer toward that fact, multiplying its odds by 1.3 to 2.7, and which hybrids do this is not settled by their architecture or training. That read is addressed by the key, not by position: recurrent state in a hybrid is not only a carrier, but a memory that later layers can query.
• Abstract（参考訳）: 2ホップの質問は、言語モデルに2回、ブリッジエンティティを生成するために1回、それで1回、検索させる。 トランスフォーマーは、初期のレイヤでそのエンティティを解決します。 ハイブリッドモデルは、ほとんどの注意をリカレントな状態に置き換えるので、キーが使えるようになり、答えに費やされる場所は分かっていない。 「ボールはどこにあるの?」と答えると、「ボールはアリスのものだ」と答え、「アリスは庭にいる」とアリスに答えるが、アリスの名前は言及されていない。 モデルがAliceを通じて庭にたどり着くと、その鍵が計算されたり、その事実がプロンプトのどこにあるかがわかる。 密集型とハイブリッド型の12モデルにわたって、隠れた状態をあるストーリーから別のストーリーに移動させ、2つのルートが別々の場所へと導かれるようにし、モデルが与える場所を読み取る。 注意層は私たちがテストしたすべてのモデルのキーを変換し、そのレイヤを渡ると使用可能な効果が取り除かれます。 シーケンシャルなハイブリッドでは、これは答えをハンドオフにします。 検索は常に停止するわけではない。 最後の注意層に続く再帰的なレイヤのメモリに別の事実を書き込むと、その事実に対して答えが移動し、その確率を1.3から2.7に乗じることができる。 ハイブリッドのリカレントステートはキャリアだけでなく、後のレイヤがクエリできるメモリです。

関連論文リスト

• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Morphing into Hybrid Attention Models [52.02140767770562]
  ハイブリッドアテンションモデルは、フルアテンション層のサブセットのみを保持し、残りのレイヤを線形アテンションに置き換えることで、長期コンテキスト効率を向上させる。 既存のハイブリッド層選択法は一般に固定配置パターンや層単位でのスコアリングに依存しており、グローバルなハイブリッド構成の下では、層の重要性を分離され、相互依存層効果を見越すものとして暗黙的に扱う。 本稿では,トランスフォーマー-ハイブリッド変換のための効率的な,効率的な,スケーラブルな層選択手法であるFlashMorphを提案する。
  論文  参考訳（メタデータ） (2026-06-29T17:02:34Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries [39.438904598467154]
  大規模言語モデル(LLM)が複雑な多段階問題をいかに解決するかを考察する。 潜在ステップが内部でどのように計算されるかを理解することは、全体的な計算を理解する上で鍵となる。 後層からの隠れ表現を以前の層にパッチバックする「バックパッチ」解析手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:44:13Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Building a Question and Answer System for News Domain [0.0]
  このプロジェクトは、ニュースドメインに質問応答システムを構築しようとします。そこでは、パッセージがニュース記事になり、誰でも質問をすることができます。 我々はアテンション機構を用いてスパンベースモデルを構築し、このモデルでは、段落の開始と終了のトークンの位置に関する質問に対する回答を予測する。
  論文  参考訳（メタデータ） (2021-05-12T15:56:21Z)
• Modeling Context in Answer Sentence Selection Systems on a Latency Budget [87.45819843513598]
  本稿では,AS2モデルに文脈情報を効率的に組み込む手法を提案する。 各回答候補について、まず教師なし類似性手法を用いて、その原文から関連文を抽出する。 マルチウェイアテンションアーキテクチャを活用してコンテキストを効率的にエンコードする私たちのベストなアプローチは、AS2の非問合せ状態よりも6%から11%改善し、システムレイテンシに最小限の影響を与えます。
  論文  参考訳（メタデータ） (2021-01-28T16:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。