論文の概要: No Loss, No Gain: Gated Refinement and Adaptive Compression for Prompt Optimization

• arxiv url: http://arxiv.org/abs/2509.23387v1
• Date: Sat, 27 Sep 2025 16:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.199326
• Title: No Loss, No Gain: Gated Refinement and Adaptive Compression for Prompt Optimization
• Title（参考訳）: No Loss, No Gain: Prompt Optimizationの強化と適応圧縮
• Authors: Wenhang Shi, Yiren Chen, Shuqing Bian, Xinyi Zhang, Kai Tang, Pengfei Hu, Zhe Zhao, Wei Lu, Xiaoyong Du,
• Abstract要約: GRACEは、Gated RefinementとAdaptive Compressionの2つの相乗的戦略を統合するフレームワークである。 GRACEは、それぞれ最先端の手法に対して4.7%、4.4%、および2.7%の大幅な平均相対的な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 15.610820088794796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering is crucial for leveraging the full potential of large language models (LLMs). While automatic prompt optimization offers a scalable alternative to costly manual design, generating effective prompts remains challenging. Existing methods often struggle to stably generate improved prompts, leading to low efficiency, and overlook that prompt optimization easily gets trapped in local optima. Addressing this, we propose GRACE, a framework that integrates two synergistic strategies: Gated Refinement and Adaptive Compression, achieving Efficient prompt optimization. The gated refinement strategy introduces a feedback regulation gate and an update rejection gate, which refine update signals to produce stable and effective prompt improvements. When optimization stagnates, the adaptive compression strategy distills the prompt's core concepts, restructuring the optimization trace and opening new paths. By strategically introducing information loss through refinement and compression, GRACE delivers substantial gains in performance and efficiency. In extensive experiments on 11 tasks across three practical domains, including BIG-Bench Hard (BBH), domain-specific, and general NLP tasks, GRACE achieves significant average relative performance improvements of 4.7%, 4.4% and 2.7% over state-of-the-art methods, respectively. Further analysis shows that GRACE achieves these gains using only 25% of the prompt generation budget required by prior methods, highlighting its high optimization efficiency and low computational overhead. Our code is available at https://github.com/Eric8932/GRACE.
• Abstract（参考訳）: プロンプトエンジニアリングは、大きな言語モデル(LLM)の潜在能力を最大限活用するために不可欠である。 自動プロンプト最適化はコストのかかる手動設計に代わるスケーラブルな代替手段を提供するが、効果的なプロンプトを生成することは依然として困難である。 既存の手法は、しばしば安定して改善されたプロンプトを生成するのに苦労し、効率が悪くなり、最適化を迅速に進める見落としが、局所的な最適化で簡単に抑制される。 そこで我々は,Gated Refinement と Adaptive Compression という2つの相乗的戦略を統合するフレームワーク GRACE を提案する。 ゲート改良戦略では、フィードバック制御ゲートと更新拒否ゲートを導入し、更新信号を洗練し、安定的で効果的なプロンプト改善を実現する。 最適化が停滞すると、適応圧縮戦略はプロンプトのコア概念を蒸留し、最適化トレースを再構築し、新しいパスを開く。 改良と圧縮によって情報損失を戦略的に導入することで、GRACEは性能と効率を大幅に向上させる。 BIG-Bench Hard (BBH)、ドメイン固有タスク、一般的なNLPタスクを含む3つの実践領域にわたる11のタスクに関する広範な実験において、GRACEは、それぞれ最先端の手法よりも4.7%、4.4%、および2.7%の大幅な平均相対的パフォーマンス向上を達成した。 さらなる分析により、GRACEは従来の手法で要求されるプロンプト生成予算の25%しか利用せず、高い最適化効率と計算オーバーヘッドの低いことを強調した。 私たちのコードはhttps://github.com/Eric8932/GRACE.comから入手可能です。

関連論文リスト

• MetaML-Pro: Cross-Stage Design Flow Automation for Efficient Deep Learning Acceleration [8.43012094714496]
  本稿では、リソース制約のあるハードウェア上にディープニューラルネットワーク(DNN)をデプロイするための最適化戦略の体系化と自動化のための統一的なフレームワークを提案する。 提案手法は,2つの重要な問題に対処する: (i) カスタム最適化戦略のエンコードと (ii) クロスステージ最適化探索のエナリングである。
  論文  参考訳（メタデータ） (2025-02-09T11:02:06Z)
• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• B2Opt: Learning to Optimize Black-box Optimization with Little Budget [15.95406229086798]
  本稿では,人的介入を伴わずに,目標タスクや安価なサロゲートタスクから最適化戦略を自動学習する強力な最適化フレームワークを設計する。 B2Optと呼ばれるディープニューラルネットワークフレームワークは、適合テストの生存率に基づく最適化戦略のより強力な表現を持っている。 最先端のBBOベースラインと比較して、B2Optは機能評価コストを低減して、複数桁の性能向上を実現することができる。
  論文  参考訳（メタデータ） (2023-04-24T01:48:01Z)
• DECN: Evolution Inspired Deep Convolution Network for Black-box Optimization [9.878660285945728]
  本稿では、自動EAの概念を紹介します。 自動EAは、関心の問題における構造を利用して、自動更新ルールを生成する。 手動で設計したEAから手動の介入なしに自動化されたEAへの移行を実現するために、深層進化畳み込みネットワーク(DECN)を設計する。
  論文  参考訳（メタデータ） (2023-04-19T12:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。