論文の概要: PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization

• arxiv url: http://arxiv.org/abs/2609.32474v1
• Date: Sat, 26 Sep 2026 11:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:48:06.093703
• Title: PC-SubMax: Efficient Prompt Compression via Regularized Submodular Maximization
• Title（参考訳）: PC-SubMax: 正規化部分モジュラ最大化による効率的なプロンプト圧縮
• Abstract要約: 大規模言語モデル(LLM)は、長期コンテキストのシナリオにますます多くデプロイされている。 長いプロンプトはコストとレイテンシを高め、失った中間者現象を悪化させる。 我々は、knapsack制約の下で正規化モノトン部分モジュラーとして選択的プロンプト圧縮を定式化するフレームワークであるPC-SubMaxを提案する。
• 参考スコア（独自算出の注目度）: 25.919321923997412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models (LLMs) are increasingly deployed in long-context scenarios, lengthy prompts can increase inference costs and latency and exacerbate the ``lost-in-the-middle'' phenomenon. Selective prompt compression offers a model-agnostic approach to alleviating these issues. However, methods based on fixed token- or sentence-level importance scores may overlook how content contributions change with the selected subset, limiting their ability to account for inter-sentence redundancy. Compression procedures that rely on autoregressive LLM scoring can also introduce substantial overhead. We propose PC-SubMax, a theoretically grounded framework that formulates selective prompt compression as regularized monotone submodular maximization under a knapsack constraint. The objective is $U(S)-\ell(S)$, where the monotone submodular utility $U$ combines information coverage, query relevance, and log-determinant diversity, and the non-negative modular penalty $\ell$ captures token cost. Through diminishing marginal returns, the objective evaluates each sentence's contribution relative to the selected content. To optimize this objective, we develop the Regularized Greedy+Max (RGM) algorithm, which deterministically returns a feasible set $Q$ satisfying $U(Q)-\ell(Q)\geq \frac{1}{2}U(O)-\ell(O)$, where $O$ is an optimal feasible solution to the regularized problem. RGM uses $O(nκ)$ value-oracle queries, where $n$ is the number of candidate sentences and $κ$ is the maximum feasible subset size. PC-SubMax uses encoder representations and avoids autoregressive LLM scoring during compression. Experiments across seven diverse benchmarks demonstrate competitive downstream performance with low compression overhead.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長いコンテキストシナリオでますますデプロイされるが、長いプロンプトは推論コストとレイテンシを高め、‘lost-in-the-middle’現象を悪化させる。 選択的なプロンプト圧縮は、これらの問題を緩和するためのモデルに依存しないアプローチを提供する。 しかし、固定トークンや文レベルの重要度スコアに基づく手法は、選択されたサブセットでコンテンツコントリビューションがどのように変化するかを見落とし、文間冗長性を考慮する能力を制限する可能性がある。 自己回帰的LLMスコアリングに依存する圧縮手順も、かなりのオーバーヘッドをもたらす可能性がある。 そこで我々は,PC-SubMaxを提案する。PC-SubMaxは,knapsack制約下での正規化モノトン部分モジュラー最大化として選択的なプロンプト圧縮を定式化するための理論的な基盤となるフレームワークである。 目的は$U(S)-\ell(S)$で、モノトーンのサブモジュールユーティリティである$U$は、情報カバレッジ、クエリ関連性、ログ決定の多様性、非負のモジュラペナルティである$\ell$はトークンコストをキャプチャする。 残差リターンを減少させることで、目的は選択された内容に対する各文の寄与を評価する。 この目的を最適化するために、正則化Greedy+Max (RGM) アルゴリズムを開発し、このアルゴリズムは正規化問題の最適解である$U(Q)-\ell(Q)\geq \frac{1}{2}U(O)-\ell(O)$を満たす実現可能な集合$Q$を決定的に返す。 RGMは$O(nκ)$value-oracleクエリを使用し、$n$は候補文の数、$κ$は最大可能なサブセットサイズである。 PC-SubMaxはエンコーダ表現を使用し、圧縮中の自己回帰LDMスコアリングを回避する。 7つの多様なベンチマークの実験は、低圧縮オーバーヘッドで、競争力のあるダウンストリームパフォーマンスを示している。

関連論文リスト

• Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids: From Robust Offline Optimization to Full-Bandit Learning [55.29259818039367]
  オフラインアルゴリズムに任意の制御値オラクルが与えられるとき, 一般のマトロイドに対する非負のサブモジュラー対象について検討する。 本アルゴリズムは,非単調な目的に対して1/e$,単調な目的に対して1/e$の制限係数を保持する。 結果として、オフラインからオフラインへの還元は、一般的なマトロイド制約のサブモジュラー報酬に対するシングルバンドCMABアルゴリズムをもたらす。
  論文  参考訳（メタデータ） (2026-08-12T14:54:15Z)
• Multinoulli Extension: A Lossless Continuous Relaxation for Partition-Constrained Subset Selection [60.07018090570548]
  我々はパラメータフリーで、歪んだ局所探索法と同じ近似保証を実現できるMultinoulliSCGという新しいアルゴリズムを導入する。 また、分割制約に関する未探索オンラインサブセット選択問題に対して、Multinoulli-CGとMultinoulli-GAGAという2つの新しいオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-23T02:30:01Z)
• Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
  大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。 我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
  論文  参考訳（メタデータ） (2025-12-31T04:19:33Z)
• Fair Submodular Cover [18.37610521373708]
  フェア・サブモジュラー被覆 (FSC) の研究は、与えられた基底集合$U$, 単調部分モジュラー関数 $f:2UtomathbbR_ge 0$, しきい値$tau$ が与えられる。 まず、二項近似比を$(frac1epsilon, 1-O(epsilon))$とするFSCの離散アルゴリズムを導入する。 次に、$(frac1epsilon, 1-O(epsilon))$-を達成する連続アルゴリズムを示す。
  論文  参考訳（メタデータ） (2024-07-05T18:37:09Z)
• GIST: Greedy Independent Set Thresholding for Max-Min Diversification with Submodular Utility [16.843606527688326]
  単調な部分モジュラーユーティリティ(textsfMDMS$)を用いた最大分数分散と呼ばれる新しい部分集合選択問題について検討する。 計量空間内の点の集合が与えられた場合、$textsfMDMS$の目標は、濃度制約の対象である$f(S) = g(S) + lambda cdot texttdiv(S)$を最大化することである。 ImageNet上のシングルショットデータサンプリングタスクに対して、texttGIST$が最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-29T04:39:24Z)
• Enhanced Deterministic Approximation Algorithm for Non-monotone Submodular Maximization under Knapsack Constraint with Linear Query Complexity [0.0]
  我々は最も高速な決定論的アルゴリズムの近似係数を6+epsilon$から5+epsilon$に改善する。 本手法は, しきい値のグリーディ・サブルーチンと, 候補解としての2つの解集合の構築という, 2つの成分の性能を最適化することに基づいている。
  論文  参考訳（メタデータ） (2024-05-20T02:24:58Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• The Power of Subsampling in Submodular Maximization [51.629656762796564]
  このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。 我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-04-06T20:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。