論文の概要: PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

• arxiv url: http://arxiv.org/abs/2610.16003v1
• Date: Mon, 12 Oct 2026 00:10:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:09:40.010651
• Title: PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
• Title（参考訳）: PAIR: 読み出しによるメモリ効率と高速推論--共振融合
• Abstract要約: PAIRはエビデンス抽出と解答推論に2つの異なるサイズのモデルを採用している。 より小さなReaderモデルは、完全なコンテキストを処理し、保持する一方で、より大きなReasonerモデルは、コンテキストに直接参加することなく、質問と生成されたシーケンスのみを見ることができる。 HotpotQAでは、32B Reasonerを搭載したPAIRは、KVメモリの約4分の1を使用しながら、同じ32Bモデルのフルコンテキスト精度の96%を維持している。 45.7Kのコンテキストでは、PAIRは同じGPU上のフルコンテキスト32Bモデルよりも3.2$times$高いエンドツーエンドスループットを実現している。
• 参考スコア（独自算出の注目度）: 15.66392940087084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For context-based question answering, using one large model for both evidence extraction and answer reasoning requires substantial memory and computation. Existing approaches trade accuracy for efficiency within a single model only. We propose a multi-model approach for efficient inference: our method, PAIR, employs two differently sized models for evidence extraction and answer reasoning, respectively. A smaller Reader model processes and retains the full context, while a larger Reasoner model sees only the question and generated sequence without directly attending to the context. These capabilities are fused at the logit level: at each token, both Reader and Reasoner produce a prediction, and their logits are combined into one, behaving as a single next-token-prediction model. Fine-tuning further boosts their performance. On HotpotQA, PAIR with a 32B Reasoner retains 96% of that same 32B model's full-context accuracy while using roughly one quarter of its KV memory. At 45.7K-token contexts, PAIR achieves up to 3.2$\times$ higher end-to-end throughput than the full-context 32B model on the same GPU. PAIR also improves the accuracy-memory and accuracy-throughput trade-offs over evaluated token-reduction baselines. Its accuracy-preserving behavior generalizes across Qwen2.5, OLMo-3, and Gemma-3 model families.
• Abstract（参考訳）: 文脈に基づく質問応答では、エビデンス抽出と解答推論の両方に1つの大きなモデルを使用するには、かなりのメモリと計算が必要である。 既存のアプローチは、単一のモデル内でのみ効率の取引精度にアプローチする。 提案手法は,証拠抽出と解答推論の2つの異なるモデルを用いて,効率的な推論を行うための多モデル手法を提案する。 より小さなReaderモデルは、完全なコンテキストを処理し、保持する一方で、より大きなReasonerモデルは、コンテキストに直接参加することなく、質問と生成されたシーケンスのみを見ることができる。 それぞれのトークンでは、ReaderとReasonerの両方が予測を生成し、それらのロジットはひとつにまとめられ、単一の次の次の予測モデルとして振る舞う。 微調整はパフォーマンスをさらに向上させる。 HotpotQAでは、32B Reasonerを持つPAIRは、KVメモリの約4分の1を使用しながら、同じ32Bモデルのフルコンテキスト精度の96%を維持している。 45.7Kのコンテキストでは、PAIRは同じGPU上のフルコンテキスト32Bモデルよりも3.2$\times$高いエンドツーエンドスループットを実現している。 PAIRはまた、評価されたトークン推論ベースラインよりも精度-メモリと精度-アウトプットトレードオフを改善している。 精度保存動作はQwen2.5、OLMo-3、Gemma-3モデルファミリで一般化される。

関連論文リスト

• Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning [4.793059213046564]
  本稿では,SO(3)同変原子基盤モデルの構造解析法を提案する。 プルーニングはチャネルと順序次元に沿って適用され、各既約表現は完全なブロックとして保持または削除される。 プルーニングされたMACE-MPモデルは、マトベンチディスカバリーのリーダーボード上の9つの指標のうち7つで、公式のオフスクラッチトレーニングされた小さなモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-05-09T11:07:03Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• Epistemic Observability in Language Models [0.0]
  製造時に高い信頼性を報告できるモデルがあることがわかりました。 正式な仮定では、これは能力ギャップではなく観察的なギャップである。 我々は,計算副産物を輸出することで不合理性から逃れるテンソルインタフェースを構築した。
  論文  参考訳（メタデータ） (2026-03-20T21:59:34Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。