論文の概要: Prompt Minimization: Reducing Input Redundancy Without Sacrificing Output Fidelity

• arxiv url: http://arxiv.org/abs/2609.31505v1
• Date: Fri, 25 Sep 2026 16:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.493208
• Title: Prompt Minimization: Reducing Input Redundancy Without Sacrificing Output Fidelity
• Title（参考訳）: プロンプト最小化:出力忠実度を犠牲にすることなく入力冗長性を削減する
• Abstract要約: $textitprompt$は、最も小さく、最も情報量の多いフォームへのプロンプトを減らすプロセスを探る。 発見は、効率的なプロンプトエンジニアリングのための新しい方向を示唆し、大きな言語モデルにおける入力圧縮の理解を深める。
• 参考スコア（独自算出の注目度）: 0.45671221781968324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the growing capabilities of large language models (LLMs), prompt design remains largely heuristic and ad hoc. This project will explore $\textit{prompt minimization}$, the process of reducing prompts to their smallest, most information-dense form while preserving output fidelity. Practically, shorter prompts reduce computational overhead and inference latency, especially when large contexts, such as entire documents or codebases, are included unnecessarily. Further, longer prompts can damage LLM reasoning and accuracy. Theoretically, the existence of multiple prompts yielding equivalent outputs suggests a high degree of redundancy in the input space, raising fundamental questions about what information is essential to elicit specific model behaviors. We propose three variant frameworks to identify and evaluate minimal prompts and demonstrate that minimal prompts often produce outputs comparable to those of their longer counterparts. These findings suggest new directions for efficient prompt engineering and deepen our understanding of input compression in LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)の能力の増大にもかかわらず、迅速な設計は大半がヒューリスティックでアドホックなままである。 このプロジェクトは$\textit{prompt minimization}$を探索し、出力の忠実さを保ちながら、最も小さく最も情報密度の高いフォームへのプロンプトを減らすプロセスである。 実際には、ショートプロンプトは計算オーバーヘッドと推論遅延を減少させ、特にドキュメント全体やコードベースのような大きなコンテキストが不要に含まれている場合である。 さらに、長いプロンプトはLSM推論と精度を損なうことがある。 理論的には、等価な出力をもたらす複数のプロンプトの存在は入力空間における高い冗長性を示唆し、特定のモデルの振る舞いを引き出すのにどのような情報が不可欠かという根本的な疑問を提起する。 最小限のプロンプトを特定し評価する3つの変種フレームワークを提案し、最小限のプロンプトがより長いプロンプトのプロンプトに匹敵する出力を生成することを示す。 これらの結果から, LLMにおける入力圧縮の理解を深め, 効率的な高速化に向けた新たな方向性が示唆された。

関連論文リスト

• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
  単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。 フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。 3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
  論文  参考訳（メタデータ） (2025-11-28T15:22:52Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product [8.014705094248589]
  低パラメータプロンプトチューニング法は、PT法とLoRA法で性能と効率を向上する。 6つのアーキテクチャと8つのデータセットにわたる実験により、LAMPはパフォーマンスと効率において、最先端のPTベースのメソッドとLoRAベースのメソッドより優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-16T05:50:12Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• TRIM: Token Reduction and Inference Modeling for Cost-Effective Language Generation [1.2979906794584584]
  本稿では,より少ない推論コストのモデルを用いて,大規模言語モデルからの短い蒸留出力をフルナラティブに再構成する,計算コストの削減のためのパイプラインを提案する。 実験の結果、特に20.58%のトークンを平均で保存し、評価基準を小さくする一般知識領域において有望な結果が得られた。
  論文  参考訳（メタデータ） (2024-12-10T17:13:35Z)
• PromptIntern: Saving Inference Costs by Internalizing Recurrent Prompt during Large Language Model Fine-tuning [45.847259809950316]
  本稿では,モデル微調整時の素早い知識を内部化し,効率的な推論とコスト削減を実現するPromptInternを提案する。 我々は、命令テンプレート圧縮、少数ショットのサンプル吸収、進行的な内部化戦略を含む微調整パイプラインを設計する。 NL2Codeタスクへの挑戦に関する総合的な実験により、我々の手法は入力トークンを90%以上削減し、推論を4.2倍加速し、金銭的推論コストを88.3%削減することを示した。
  論文  参考訳（メタデータ） (2024-07-02T12:21:14Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。