論文の概要: UNREAL: Unifying Retrieval and Long-Context with a Single Model

• arxiv url: http://arxiv.org/abs/2610.08463v1
• Date: Tue, 06 Oct 2026 14:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.059254
• Title: UNREAL: Unifying Retrieval and Long-Context with a Single Model
• Title（参考訳）: UNREAL: 検索と長期コンテキストを単一モデルで統一する
• Abstract要約: 長文推論と検索拡張生成(RAG)は、非常に異なるスケールでのエビデンス選択を扱う。 コーパス検索と長文推論を対象とするUNREAL(Unified Retrieval and Long-Context with a Single Model)を提案する。 UNREALはチャンクをエンコードし、冷凍LLMの内部表現から直接検索クエリを導出する。
• 参考スコア（独自算出の注目度）: 45.720751719497535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context inference and Retrieval-Augmented Generation (RAG) handle evidence selection at vastly different scales, from a single long prompt to an entire corpus. We ask whether a single model-internal mechanism can select evidence across this range. We introduce UNifying REtrieval And Long-Context with a Single Model (UNREAL), a model-native evidence selection framework to span corpus retrieval and long-context inference. UNREAL encodes chunks and derives retrieval queries directly from the frozen LLM's internal representations. It adds fewer than 500K trainable parameters and leaves the backbone unchanged. On a 3B-token, 21M-chunk Wikipedia index, all four dense and hybrid UNREAL backbones outperform state-of-the-art retriever-reranker systems. The best model raises recall from 49.1% to 73.2% on HotpotQA, from 31.7% to 60.1% on 2WikiMultiHopQA, and from 8.8% to 14.4% on MuSiQue. Applied to long-context tasks, the same selection mechanism removes distractors before generation, raising NoLiMa accuracy from 1.0% to 24.83% at its maximum context length of 128K tokens, and LV-Eval's F1 score from 49.97% to 54.66% at 256K. UNREAL also reduces FLOPs and time-to-first-token relative to full-context inference from roughly 32K tokens onward, with larger gains as context grows. Together, these results establish model-internal evidence selection as a common foundation for corpus retrieval and evidence-sparse long-context inference.
• Abstract（参考訳）: ロングコンテキスト推論と検索拡張生成(RAG)は、単一のロングプロンプトからコーパス全体に至るまで、非常に異なるスケールでエビデンスの選択を処理する。 一つのモデル-内部メカニズムが、この範囲で証拠を選択できるかどうかを問う。 コーパス検索と長文推論にまたがるモデルネイティブなエビデンス選択フレームワークであるUNREAL(Unified Retrieval and Long-Context with a Single Model)を紹介する。 UNREALはチャンクをエンコードし、冷凍LLMの内部表現から直接検索クエリを導出する。 トレーニング可能なパラメータは500K未満で、バックボーンは変更されていない。 3B-tokenの21M-chunk Wikipediaインデックスでは、4つの高密度でハイブリッドなUNREALバックボーンはすべて、最先端のレトリバー・リランダシステムを上回っている。 最良のモデルは、HotpotQAで49.1%から73.2%にリコールされ、2WikiMultiHopQAで31.7%から60.1%に、MuSiQueで8.8%から14.4%にリコールされる。 長いコンテキストタスクに適用すると、同じ選択機構が生成前のイントラクタを除去し、NoLiMaの精度は最大コンテキスト長128Kで1.0%から24.83%、LV-EvalのF1スコアは49.97%から256Kで54.66%に上昇する。 UNREALはまた、フルコンテキストの推論に対してFLOPとタイム・ツー・ファーストのトークンを約32Kトークンから切り下げる。 これらの結果は、コーパス検索とエビデンススパース長文推論の共通基盤として、モデル内部のエビデンス選択を確立した。

関連論文リスト

• Beyond the Context Window: An Adaptive Entropy-Based Routing Framework for Hybrid Retrieval and Long-Context Language Models [0.0]
  本稿では,検索したチャンクからの問合せに応答するか,あるいは完全長文処理にエスカレーションするかを推測時間で決定するフレームワークを提案する。 Entropy-Driven Adaptive Router (EDAR) は、検索したチャンクからクエリに応答するか、あるいはそれを完全なロングコンテキスト処理にエスカレーションするかを推論時に決定する。
  論文  参考訳（メタデータ） (2026-09-23T16:09:36Z)
• An Explicit World Model Based on Data-First Ontology: DaoQL Multimodal Storage Validation and Counterfactual Reasoning Evaluation [1.9674271425998944]
  大規模言語モデルは、暗黙的にニューラルウェイトで世界モデルを符号化し、医療や金融といった高精度領域における4つの構造的リスクを露呈する。 我々は、明示的な世界モデルを形式化し、規則の独立の下では、明示的なモデルは、構成可能な反事実分解可能性に十分な条件を提供することを示す。 実装されたシステムは、DaoQLの検証済みストレージ層と明示的なEvalパスに注目し、グラフ、カラム、ベクタ、フルテキストエンジンをひとつのプロセスに統合する。
  論文  参考訳（メタデータ） (2026-07-19T14:20:22Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• CellARC: Measuring Intelligence with Cellular Automata [0.0]
  CellARCは1次元セルオートマトンから構築された抽象化と推論のための総合ベンチマークである。 各エピソードは5つのサポートペアを持ち、1つのクエリは256個のマルチカラートークンでシリアライズされる。 95kトレーニングエピソードと2つの1kテストスプリット(補間/外挿)をリリースする。
  論文  参考訳（メタデータ） (2025-11-11T07:05:39Z)
• NoLiMa: Long-Context Evaluation Beyond Literal Matching [100.00398424275501]
  NoLiMaは、NIAHテストを拡張したベンチマークである。 干し草の山の中に針を見つけるためには、潜伏関係を推測するモデルが必要である。 我々は、少なくとも128Kトークンのコンテキストをサポートすると主張する13の人気のある大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-02-07T18:49:46Z)
• ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [53.97515452727115]
  ChatQA 2は、128Kコンテキストウィンドウを備えたLlama 3.0ベースのモデルである。 Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。 RAGを用いた長文LLMの性能は,多数のチャンクを検索した場合に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-19T17:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。