論文の概要: Weighted State Souping for Efficient Long-Context Retrieval

• arxiv url: http://arxiv.org/abs/2610.25621v1
• Date: Mon, 19 Oct 2026 00:49:08 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:08:41.810653
• Title: Weighted State Souping for Efficient Long-Context Retrieval
• Title（参考訳）: 効率的な長期検索のための重み付き状態ソープ
• Abstract要約: 状態空間モデル(SSM)は、高速推論と固定状態サイズと競合する言語モデリング性能を組み合わせたものである。 キャッシュされた状態を構成するためのクエリ依存の重み付けを学習する簡単な方法である重み付け状態スープリングを提案する。 提案手法は効率の良いスパース変種にさらに適応することができ,文脈長に対してほぼ安定な符号化コストが得られる。
• 参考スコア（独自算出の注目度）: 52.13384953250926
• License:
• Abstract: State space models (SSMs) combine fast inference and fixed state size with competitive language-modeling performance. Recently, state souping has been proposed as a procedure whereby an SSM independently encodes chunks of tokens like documents, tool definitions, or memory records. The resulting state encodings may be cached and recombined to cheaply construct a context for downstream queries. However, both state souping and vanilla SSMs deteriorate on long, crowded contexts, limiting their utility for long-horizon domains. To address this issue, we propose weighted state souping, a simple method that learns query-dependent weights for composing cached states. The resulting models improve long-context performance substantially across both single- and multi-hop document question answering, needle-in-a-haystack retrieval, variable tracking, and tool use. Our method can be further adapted into an efficient sparse variant, yielding near-constant encoding cost with respect to context length while preserving (and sometimes improving) performance. We also present simple theoretical arguments that illustrate why souping works and when it may fail, and discuss informally the advantages of weighted souping. Weighted state souping thus combines reusable context representations with selective retrieval, offering an efficient approach to language modeling over large collections of documents, tools, and other forms of structured context that increasingly dominate modern agentic workloads.
• Abstract（参考訳）: 状態空間モデル(SSM)は、高速推論と固定状態サイズと競合する言語モデリング性能を組み合わせたものである。 最近では、SSMが独立して文書、ツール定義、メモリレコードなどのトークンの塊をエンコードする手順としてステートスープが提案されている。 結果のステートエンコーディングをキャッシュして再結合することで、ダウンストリームクエリのコンテキストを安価に構築することができる。 しかし、州産スープとバニラのSSMは、長くて混み合った状況で悪化し、長い水平領域での使用が制限された。 この問題に対処するために,キャッシュ状態を構成するためのクエリ依存の重み付けを学習する簡単な方法である重み付け状態スープリングを提案する。 結果として得られたモデルは、シングルホップとマルチホップの文書質問応答、ニードル・イン・ア・ヘイスタック検索、変数追跡、ツール使用の両方で、コンテキストの長いパフォーマンスを大幅に改善する。 提案手法は効率の良いスパース変種にさらに適応することができ,性能を保ちながら,文脈長に対してほぼ一定に近い符号化コストが得られる。 また,なぜスープが効くのか,いつ失敗するかを示す単純な理論的議論も提示し,加重スープの利点を非公式に論じる。 これにより、再利用可能なコンテキスト表現と選択的な検索を組み合わせることで、ドキュメントやツールなどの構造化されたコンテキストの集合に対して、言語モデリングへの効率的なアプローチを提供する。

関連論文リスト

• Context Recycling for Long-Horizon LLM Inference [0.3655021726150367]
  大規模言語モデル(LLM)は、短文推論において強力な能力を示すが、長い会話の地平線上での性能は低下する。 タスク関連情報をターン毎に保持するコンテキストリサイクルシステムであるContextForgeを紹介する。 システムは、完全なコンテキスト再生に頼ることなく、事前計算の効率的な再利用を可能にする。
  論文  参考訳（メタデータ） (2026-05-01T04:45:08Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• The Surprising Soupability of Documents in State Space Models [28.95633840848728]
  そこで本研究では,文書を独立に符号化し,その表現をプールする手法を提案する。 我々はMamba2モデルを微調整し、スープ可能な表現を生成し、マルチホップQA、スパース検索、長い文書推論を高い精度でサポートする。 HotpotQAでは、10個の独立したエンコードされたドキュメントが、同じ入力でトレーニングされたクロスエンコーダのパフォーマンスとほぼ一致している。
  論文  参考訳（メタデータ） (2025-05-29T22:13:21Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。