論文の概要: Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories

• arxiv url: http://arxiv.org/abs/2609.13154v1
• Date: Wed, 08 Jul 2026 17:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.51463
• Title: Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories
• Title（参考訳）: 大規模言語モデルに対する語彙的プロンプト圧縮:11つのタスクカテゴリにわたる経験的パレート分析による学習自由決定論的パイプライン
• Abstract要約: 大規模言語モデル(LLM)は、プロンプトをますます大きく複雑にしている。チェーン・オブ・ソート推論(Wei et al., 2022)やコンテキスト内学習といったテクニックは、数千のトークンを超越して現実のプロンプトをプッシュし、推論コストとレイテンシを増大させる。 出力品質が大幅に低下する前に、古典的語彙的NLPに基づくトレーニングなし、完全に決定論的、CPUのみのパイプラインをどの程度プッシュできるかを問う。 11個のトグルブル語彙変換 - 停止語除去, フィラーフレーズ削除, 収縮と省略置換, パート・オブ・スペル・プルーニング, 補題化, WordNet 駆動
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have made prompts increasingly large and complex. Techniques such as chain-of-thought reasoning (Wei et al., 2022) and in-context learning (Brown et al., 2020) frequently push real-world prompts past several thousand tokens, increasing inference cost and latency. Learned compression methods such as LLMLingua (Jiang et al., 2023) and Selective Context (Li et al., 2023) achieve high compression ratios but require auxiliary language models and are non-deterministic. We ask a complementary question: how far can a training-free, fully deterministic, CPU-only pipeline based on classical lexical NLP be pushed before output quality degrades significantly? Eleven toggleable lexical transformations - stopword removal, filler-phrase deletion, contraction and abbreviation substitution, part-of-speech-based pruning, lemmatization, WordNet-driven synonym shortening, and named-entity preservation - are assembled into a configurable pipeline. Fifteen configurations are evaluated on 1,242 English-only prompts from six sources (Dolly-15k, LMSYS-Chat-1M, WildChat-1M, MMLU, GSM8K, HellaSwag), spanning eleven automatically derived task categories, yielding 18,630 paired GPT-4o-mini completions. Output preservation is measured using BLEU, ROUGE-1/2/L, BERTScore-F1, and SentenceBERT cosine similarity. The most aggressive configuration achieves a mean token reduction of 40.3% (sigma = 9.2) at a BERTScore-F1 of 0.876 against the original-prompt output; a stopword-only configuration achieves 29.6% reduction at 0.913. The compression-versus-fidelity Pareto frontier is characterized per task category, with commonsense reasoning a systematic failure mode under aggressive compression. All code, prompts, and per-cell results are released for reproducibility.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩により、プロンプトはますます大きく複雑になっている。 チェーン・オブ・ソート推論(Wei et al , 2022)やコンテキスト内学習(Brown et al , 2020)のようなテクニックは、現実のプロンプトを数千のトークンを超越し、推論コストと遅延を増大させる。 LLMLingua (Jiang et al , 2023) やSelective Context (Li et al , 2023) のような学習された圧縮手法は高い圧縮比を達成するが、補助的な言語モデルを必要とし、非決定論的である。 従来の語彙NLPに基づくトレーニングフリーで、完全に決定論的で、CPUのみのパイプラインは、出力品質が大幅に低下する前に、どれくらいまでプッシュできるのか? 11個のトグルブルな語彙変換 – ストップワードの削除、フィラーフレーズの削除、収縮と省略置換、音声によるプルーニング、補題化、WordNetによる同義語短縮、名前付き保存 – が構成可能なパイプラインに組み込まれている。 6つのソース(Dolly-15k, LMSYS-Chat-1M, WildChat-1M, MMLU, GSM8K, HellaSwag)から1,242の英語のみのプロンプトで15の構成が評価され、18,630対のGPT-4o-mini完了が得られた。 出力保存はBLEU、ROUGE-1/2/L、BERTScore-F1、SentenceBERTコサイン類似度を用いて測定される。 最も攻撃的な構成は、BERTScore-F1で40.3%(シグマ=9.2)、オリジナルプロンプト出力で0.876、ストップワードのみで0.913で29.6%の減少を達成する。 圧縮-対向-忠実パレートフロンティアはタスクカテゴリ毎に特徴付けられ、アグレッシブ圧縮下での系統的故障モードをコモンセンスで推論する。 すべてのコード、プロンプト、セル毎の結果は再現性のためにリリースされます。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors [13.49190771932777]
  我々は, 語彙, 構文, 意味, 言説の種を進化的に探索し, 競争ルールの組み合わせを見つける。 結果、言語圧縮機はデプロイメント時にLMフォワードパスを必要とせず、CPU側でのみ圧縮を行う。 圧縮品質と復元精度のバランスをとるために,デュアルパスプロトコルを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-07-28T06:33:27Z)
• Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR [1.3201554201420624]
  この研究は、ベンガル語のような形態的に豊かな非ラテン言語におけるモデルの失敗の根本原因を明らかにする。 デコーダの語彙をネイティブのBanglaBERT WordPiece語彙に置き換えるための新しい語彙移植パイプラインが提案されている。 改良されたアーキテクチャは、21.54%のワードエラー率(WER)と0.0053のリアルタイムファクタ(RTF)を達成する。
  論文  参考訳（メタデータ） (2026-07-10T16:54:38Z)
• UOL@IDEM at BEA 2026 Shared Task 1: Neural Fusion and Feature-Rich Modeling for L1-Aware Vocabulary Difficulty Prediction [1.9746060146273674]
  本稿では, BEA 2026 の L1-aware vocabulary difficulty 予測タスクに対する UOL@IDEM のクローズトトラック提案について述べる。 我々は、このタスクを回帰としてモデル化し、スペイン語、ドイツ語、マンダリン中国語の別系統を訓練する。 本システムは,多言語文脈表現と,周波数,表面形状,検索証拠,セマンティックアライメント,コグネート類似性,マスク付き言語モデル予測可能性などの特徴を結合する。
  論文  参考訳（メタデータ） (2026-06-23T12:30:48Z)
• Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
  我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。 教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。 これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
  論文  参考訳（メタデータ） (2026-06-21T16:27:24Z)
• GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages [32.22353317193898]
  PAN 2025 Multilingual Text Detoxification Challengeについて述べる。 パラメータ効率のよいLoRA SFT微調整を施し、少数ショットやチェーン・オブ・サートのような技法を推し進める。 当社のシステムは、まず、高リソースおよび低リソース言語にランク付けする。
  論文  参考訳（メタデータ） (2025-09-24T10:06:40Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
  超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。 本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。 チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
  論文  参考訳（メタデータ） (2025-02-20T07:10:43Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。