論文の概要: Directed Information $γ$-covering: An Information-Theoretic Framework for Context Engineering

• arxiv url: http://arxiv.org/abs/2510.00079v1
• Date: Tue, 30 Sep 2025 02:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.168097
• Title: Directed Information $γ$-covering: An Information-Theoretic Framework for Context Engineering
• Title（参考訳）: Directed Information $γ$-covering: コンテキスト工学のための情報理論フレームワーク
• Authors: Hai Huang,
• Abstract要約: 冗長性を考慮したコンテキストエンジニアリングのためのフレームワークであるDirected Information $gamma$-coveringを紹介した。 オンラインコストは発生せず、オフラインで一度計算し、すべてのクエリで償却することができる。 これらの結果は、現代のLLMパイプラインのための原則化された自己組織化バックボーンとしてDI $gamma$-coveringを確立する。
• 参考スコア（独自算出の注目度）: 2.541246776283285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce \textbf{Directed Information $\gamma$-covering}, a simple but general framework for redundancy-aware context engineering. Directed information (DI), a causal analogue of mutual information, measures asymmetric predictiveness between chunks. If $\operatorname{DI}_{i \to j} \ge H(C_j) - \gamma$, then $C_i$ suffices to represent $C_j$ up to $\gamma$ bits. Building on this criterion, we formulate context selection as a $\gamma$-cover problem and propose a greedy algorithm with provable guarantees: it preserves query information within bounded slack, inherits $(1+\ln n)$ and $(1-1/e)$ approximations from submodular set cover, and enforces a diversity margin. Importantly, building the $\gamma$-cover is \emph{query-agnostic}: it incurs no online cost and can be computed once offline and amortized across all queries. Experiments on HotpotQA show that $\gamma$-covering consistently improves over BM25, a competitive baseline, and provides clear advantages in hard-decision regimes such as context compression and single-slot prompt selection. These results establish DI $\gamma$-covering as a principled, self-organizing backbone for modern LLM pipelines.
• Abstract（参考訳）: 本稿では,冗長性を考慮したコンテキストエンジニアリングのための,シンプルだが汎用的なフレームワークである \textbf{Directed Information $\gamma$-covering} を紹介する。 相互情報の因果的類似である方向情報(DI)は、チャンク間の非対称な予測性を測定する。 もし$\operatorname{DI}_{i \to j} \ge H(C_j) - \gamma$ ならば、$C_i$ suffices は$C_j$から$\gamma$ bits となる。 この基準に基づいて、文脈選択を$\gamma$-cover問題として定式化し、証明可能な保証付きグリーディアルゴリズムを提案する:これは有界スラック内のクエリ情報を保存し、サブモジュラー集合被覆から$(1+\ln n)$と$(1-1/e)$近似を継承し、多様性のマージンを強制する。 重要なことは、$\gamma$-coverの構築は \emph{query-agnostic} である。 HotpotQAの実験によると、$\gamma$-coveringは競合するベースラインであるBM25よりも一貫して改善され、コンテキスト圧縮やシングルスロットプロンプトセレクションのようなハード・ディシジョン・システマにおいて明確なアドバンテージを提供する。 これらの結果は、現代のLLMパイプラインのための原則化された自己組織化バックボーンとしてDI $\gamma$-coveringを確立する。

関連論文リスト

• Covering a Few Submodular Constraints and Applications [2.243805796685295]
  複数の部分モジュラー制約を網羅する問題を考察する。 任意の整数に対して$alpha ge 1$ が集合 $S$ を出力し、$f_i(S) ge$ 1-1/ealpha -epsilon)b_i$ が [r]$ と $mathbbE[c(S)] le (1+epsilon)alpha cdot sfOPT$ に対して$1-1/ealpha -epsilon)b_i$ が成り立つ。
  論文  参考訳（メタデータ） (2025-07-14T03:32:42Z)
• Guarantees for Nonlinear Representation Learning: Non-identical Covariates, Dependent Data, Fewer Samples [24.45016514352055]
  我々は、関数クラス$mathcal F times Mathcal G$から、T+1$関数$f_star(t) circ g_star$を学習する際のサンプル複雑度について研究する。 タスク数が$T$になるにつれて、サンプル要件とリスクバウンドの両方が$r$次元回帰に収束することを示す。
  論文  参考訳（メタデータ） (2024-10-15T03:20:19Z)
• Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
  我々は、$rho$が$mtext-d$集合の近くに集中しているとき、これをノイズのあるデータを持つ多様体学習問題と解釈できることを示した。 Monge-Kantorovich $p$-cost $mathbbW_pp(rho, nu)$を介して$rho$を近似する際の$nu$のパフォーマンスを定量化し、$mathrmsupp nu$を$f : mathbbRmでカバーできるようにすることで複雑さを制限します。
  論文  参考訳（メタデータ） (2024-09-25T01:30:16Z)
• On Understanding Attention-Based In-Context Learning for Categorical Data [49.40350941996942]
  我々は,アテンションブロックで構成されるネットワークを開発し,各ブロックに自己注意層を付加し,その後にクロスアテンション層と関連するスキップ接続を付加する。 このモデルは、カテゴリー的観察を伴う文脈内推論のための多段階機能的GD推論を正確に行うことができる。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Differentially Private Clustering in Data Streams [56.26040303056582]
  私たちは、$k$-meansと$k$-medianクラスタリングのための最初の微分プライベートアルゴリズムを、最大で$T$のストリーム上の$d$-dimensional Euclideanデータポイントに対して提供します。 当社の主な技術的貢献は、オフラインDPコアセットまたはクラスタリングアルゴリズムをブラックボックスとしてのみ必要とする、データストリームのための微分プライベートクラスタリングフレームワークです。
  論文  参考訳（メタデータ） (2023-07-14T16:11:22Z)
• FriendlyCore: Practical Differentially Private Aggregation [67.04951703461657]
  我々は、制約のない(擬似)計量空間から点の集合を$cal D$として取り出す、単純で実用的なツールである$mathsfFriendlyCore$を提案する。 $cal D$ が有効直径 $r$ を持つとき、$mathsfFriendlyCore$ はすべての点を含む "stable" サブセット $cal D_Gsubseteq cal D$ を返す。 $mathsfFriendlyCore$は、プライベートに集約する前に入力を前処理するために使用することができる。
  論文  参考訳（メタデータ） (2021-10-19T17:43:50Z)
• The Curse of Passive Data Collection in Batch Reinforcement Learning [82.6026077420886]
  高い利害関係のアプリケーションでは、アクティブな実験は危険すぎると考えられ、データはしばしば受動的に収集される。 バンディットやパッシブ、アクティブなデータ収集などの単純な場合も同様に効果的であるが、制御された状態のシステムからデータを集める場合、パッシブサンプリングの価格ははるかに高い。
  論文  参考訳（メタデータ） (2021-06-18T07:54:23Z)
• Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity [59.34067736545355]
  S$状態、$A$アクション、割引係数$gamma in (0,1)$、近似しきい値$epsilon > 0$の MDP が与えられた場合、$epsilon$-Optimal Policy を学ぶためのモデルなしアルゴリズムを提供する。 十分小さな$epsilon$の場合、サンプルの複雑さで改良されたアルゴリズムを示す。
  論文  参考訳（メタデータ） (2020-06-06T13:34:41Z)
• Fixed-Support Wasserstein Barycenters: Computational Hardness and Fast Algorithm [100.11971836788437]
  固定支持ワッサーシュタインバリセンタ問題(FS-WBP)について検討する。 我々は,有望な反復的ブレグマン射影 (IBP) アルゴリズムであるtextscFastIBP の,証明可能な高速なテキスト決定論的変種を開発する。
  論文  参考訳（メタデータ） (2020-02-12T03:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。