論文の概要: EntroPrefill: Renyi-Guided Context Pruning with Conditional Stability Guarantees for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2610.09757v1
• Date: Wed, 07 Oct 2026 09:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.837168
• Title: EntroPrefill: Renyi-Guided Context Pruning with Conditional Stability Guarantees for Retrieval-Augmented Generation
• Title（参考訳）: EntroPrefill: Renyi-Guided Context Pruning with Conditional stability Guarantees for Retrieval-Augmented Generation
• Abstract要約: 本稿では,Renyi誘導型提案機構としてEntroPrefillを定式化した。 我々は、混合頭削除封筒、計算可能なトークン除去上界、有限サンプルオブザーバの保証を導出する。 反例は、浅い観測だけで非条件の将来の出力保証を示唆できない理由を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mid-prefill pruning can reduce the sequence processed by deeper transformer layers, but attention concentration alone does not certify that discarded context is dispensable. We formulate EntroPrefill as a Renyi-guided proposal mechanism coupled to explicit constraints on discarded attention mass. Sink-isolated, regularized head pooling respects grouped-query attention while exposing a quantitative trade-off between specialization and worst-head coverage. We derive a mixture-to-head deletion envelope, a computable upper bound on feasible token removal, and a finite-sample observer guarantee that remains valid when the pruning layer is selected adaptively. We then establish a conditional transformer perturbation bound with explicit sufficient Lipschitz constants and a first-token decision-margin corollary. A counterexample shows why shallow observations alone cannot imply an unconditional future-output guarantee. The systems analysis distinguishes query-head unions, physical page allocation, and KV-transfer payload, and gives an arithmetic break-even condition for pruning. This manuscript is theoretical in scope: it defines the procedure, its assumptions, and its formal limits, but does not report measured acceleration or task-accuracy preservation. Experiments are reserved for subsequent validation of the assumptions, approximation tightness, and end-to-end resource trade-offs.
• Abstract（参考訳）: ミドルプレフィルプルーニングは、より深いトランスフォーマー層によって処理されたシーケンスを減らすことができるが、注意集中だけでは、破棄されたコンテキストが不要であることを証明しない。 本稿では,Renyi誘導型提案機構としてEntroPrefillを定式化した。 シンクアイソレーションされた規則化されたヘッドプーリングは、グループ化されたクエリーの注意を尊重し、特殊化と最悪のヘッドカバーの間の定量的なトレードオフを露呈する。 我々は、混合ヘッド削除エンベロープ、計算可能なトークン除去上界、および有限サンプルオブザーバを導出し、プルーニング層を適応的に選択した場合の有効性を保証する。 次に, 条件変圧器の摂動を, 十分に十分なリプシッツ定数と一意決定行列で有界に設定する。 反例は、浅い観測だけで非条件の将来の出力保証を示唆できない理由を示している。 システム解析は、クエリヘッドユニオン、物理ページアロケーション、KV-トランスファーペイロードを区別し、プルーニングのための算術的ブレークフェア条件を与える。 この写本は、手続き、仮定、形式的限界を定義するが、測定された加速度やタスク精度の保存を報告していない。 実験は、仮定のその後の検証、近似の厳密性、エンドツーエンドのリソーストレードオフのために予約されている。

関連論文リスト

• Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
  EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。 自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。 本稿は、強い透かしに代わる聴覚的な代替品を開発する。
  論文  参考訳（メタデータ） (2026-10-05T13:32:41Z)
• Conformal Certification of Reasoning Trace Prefixes [30.432255322700126]
  CROP(Conformal Reasoning Output Prefixes)は,クリーンアノテート認証のためのバリデーション非依存の校正手順である。 CROPをオーバー・アンド・アンダー・ホールドし、有効な中間的推論を保ち、下流の補修精度を向上させることを実証する。
  論文  参考訳（メタデータ） (2026-05-28T15:31:42Z)
• The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models [0.0]
  我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。 結果として生じるエントロピー差は通常の最適化誤差ではない。 補正信号は、その忠実度が誤解を招く状態に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
  論文  参考訳（メタデータ） (2026-05-26T08:53:11Z)
• Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction [2.289837306672451]
  規制ストレステストでは、仮説的なマクロ経済シナリオの下で信用損失を予測する必要がある。 パネルにおけるポリシーパスの反ファクト推論のためのフレームワークを提案する。 実失業データを用いたシミュレーションおよび半合成実験により,すべての結果を検証した。
  論文  参考訳（メタデータ） (2026-03-08T03:22:38Z)
• LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
  医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。 本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。 texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
  論文  参考訳（メタデータ） (2026-02-19T16:45:38Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Conformal Inductive Graph Neural Networks [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換する。 CPは、有効な分布のないカバレッジを保証するために、i.d.仮定の緩和である交換可能性を必要とする。 従来のCPは、新しいノードとのメッセージパッシングによって生じる(校正)スコアの暗黙的なシフトのため、誘導的な設定では適用できない。 保証が予測時間(例えば、新しいノード/エッジの到着時や後続の瞬間)とは独立に成り立つことを証明します。
  論文  参考訳（メタデータ） (2024-07-12T11:12:49Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。