論文の概要: Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning
- arxiv url: http://arxiv.org/abs/2607.16209v1
- Date: Sun, 10 May 2026 13:27:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.033215
- Title: Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning
- Title（参考訳）: Shapley Context Pruning: コンテキストのリグレードとプルーニングのための協調ゲームパースペクティブ
- Abstract要約: 本稿では,重要な属性に対する協調ゲーム理論的視点を確立する,文脈再分類のための新しい枠組みを提案する。
文レベルでの置換不変値関数を近似するためにDeep Setsアーキテクチャを使用し、事前学習された言語モデルを文埋め込みとして利用し、一対のマージンランキング損失によって最適化する。
我々は, 包括的実験・拡張支援文のリコール, Needle-in-the-Haystack評価, long-context QA, マルチホップ推論の厳密な合理化研究を行い, 組込み品質と帰属戦略について検討した。
- 参考スコア（独自算出の注目度）: 6.264180893697216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context reranking and pruning have become essential for improving the efficiency of modern Retrieval-Augmented Generation (RAG) systems, yet an interpretable and unified framework remains underexplored. Previous work has primarily emphasized lexical retrieval, cross-encoder architectures, model distillation, and Low-Rank Adaptation (LoRA), mostly relying on heuristic loss functions and empirical attribution. This paper presents Shapley Context Pruning (SCP), a novel framework for context reranking that establishes a cooperative-game-theory perspective for importance attribution by modeling the context as a cooperative game. Balancing the trade-off between fine-grained and coarse-grained representations, we employ a Deep Sets architecture to approximate a permutation-invariant value function at the sentence level, utilizing pre-trained language models as sentence embedders and optimizing via a pairwise margin ranking loss. To ensure practical scalability without sacrificing mathematical rigor, we leverage Monte-Carlo sampling for efficient training and inference, providing formal theoretical error bounds and sample complexity guarantees for preserving Top-K subset rankings. Furthermore, we conduct comprehensive experiments-spanning supporting-sentence recall, Needle-in-the-Haystack (NIAH) evaluations, long-context QA, and multi-hop reasoning-alongside rigorous ablation studies on embedding quality and attribution strategies. The model achieves competitive downstream QA performance against robust baselines.
- Abstract（参考訳）: コンテクストのリグレードとプルーニングは、現代のレトリーバル拡張世代システム(RAG)の効率向上に欠かせないものとなっているが、解釈可能で統一されたフレームワークはまだ未熟である。
従来の研究は、主に語彙検索、クロスエンコーダアーキテクチャ、モデル蒸留、ローランド適応(LoRA)を強調しており、主にヒューリスティックな損失関数と経験的帰属に依存している。
本稿では、コンテキストを協調ゲームとしてモデル化することで、重要属性に対する協調ゲーム理論的視点を確立する、コンテキスト再ランクの新しいフレームワークであるShapley Context Pruning(SCP)を提案する。
細粒度表現と粗粒度表現のトレードオフのバランスをとるため,文レベルでの置換不変値関数を近似するためにDeep Setsアーキテクチャを用い,事前学習言語モデルを文埋め込みとして利用し,一対のマージンランキング損失を最適化する。
数学的な厳密さを犠牲にすることなく、実用的なスケーラビリティを確保するために、モンテカルロサンプリングを効率的なトレーニングと推論に利用し、公式な理論的誤差境界とTop-Kサブセットランキングを保存するためのサンプル複雑性保証を提供する。
さらに, 包括的実験スパンニング支援文リコール, Needle-in-the-Haystack (NIAH) 評価, long-context QA, マルチホップ推論の厳密な合理化研究を行い, 組込み品質と帰属戦略について検討した。
このモデルは、ロバストなベースラインに対して、競争力のあるダウンストリームQAパフォーマンスを達成する。
関連論文リスト
- Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。
RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。
本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
論文 参考訳（メタデータ） (2026-03-04T04:18:39Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners [1.2461503242570642]
本稿では,コントラシティブ・キャピタ(CoCa)視覚バックボーンを用いた画像分類手法を提案する。
強いデータ拡張は、低ショット環境での線形探索の性能を低下させるが、LoRA微調整の安定化には不可欠である。
また,Supervised Contrastive (SupCon) の損失を組み込んだハイブリッド目的が,標準的なクロスエントロピーよりも一貫した性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2025-12-14T20:13:21Z) - CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning [34.38636514331703]
CLaRaは、埋め込みベースの圧縮と共同最適化を共有連続空間で実行する統合フレームワークである。
実験により、CLaRaは、しばしばテキストベースの微調整ベースラインを超える、最先端の圧縮と性能の再ランクを達成することが示された。
論文 参考訳（メタデータ） (2025-11-24T00:11:14Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳（メタデータ） (2025-11-20T04:11:44Z) - Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である
我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。
提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文 参考訳（メタデータ） (2025-10-27T23:10:06Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳（メタデータ） (2025-10-03T08:50:21Z) - SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。
SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。
SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
論文 参考訳（メタデータ） (2025-07-09T14:33:07Z) - Context Attribution with Multi-Armed Bandit Optimization [11.715006981206844]
本稿では,コンテキスト属性をCMAB(Multi-armed bandit)問題として定式化する新しいフレームワークを提案する。
我々は、限られたクエリ予算の下で、指数的に大きなコンテキストサブセットの空間を効率的に探索するために、 Combinatorial Thompson Sampling (CTS) を採用している。
本手法は,正規化トークンの確率に基づいて報酬関数を定義し,セグメントのサブセットが元のモデル応答をどれだけうまくサポートしているかを抽出する。
論文 参考訳（メタデータ） (2025-06-24T19:47:27Z) - Scalable In-Context Q-Learning [68.9917436397079]
textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。
textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
論文 参考訳（メタデータ） (2025-06-02T04:21:56Z) - Chain-of-Retrieval Augmented Generation [91.02950964802454]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。