論文の概要: DRO-InstructZero: Distributionally Robust Prompt Optimization for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.15260v1
• Date: Fri, 17 Oct 2025 02:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.448163
• Title: DRO-InstructZero: Distributionally Robust Prompt Optimization for Large Language Models
• Title（参考訳）: DRO-InstructZero:大規模言語モデルのための分布ロバストなプロンプト最適化
• Authors: Yangyang Li,
• Abstract要約: DRO-InstructZeroは、ゼロショットプロンプト最適化を頑健なベイズ最適化として定式化する。 実験は、形式的な書き換え、コードのデバッグ、翻訳にマッチしたクエリ予算を備えた命令推論プロトコルに従う。 全体として、DRO-InstructZeroは分布的に堅牢な最適化と即時学習を結び、実世界の不確実性の下で信頼性があり、転送可能なプロンプトアライメントのためのプラグアンドプレイアプローチを提供する。
• 参考スコア（独自算出の注目度）: 6.781975002513999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are highly sensitive to prompt wording. However, popular automatic prompt search methods, including InstructZero, often degrade under distribution shift and adversarial evaluation because they optimize expected performance under a single evaluation distribution. Consequently, prompts that work in one setting frequently fail to transfer. To address this, DRO-InstructZero formulates zero-shot prompt optimization as robust Bayesian optimization. Specifically, an f-divergence ball defines an ambiguity set around the evaluation distribution, and a robust acquisition rule maximizes worst-case expected utility while retaining the query efficiency of Bayesian search. Therefore, the search explicitly targets reliability under distribution shift rather than average behavior alone. Experiments follow the instruction-induction protocol with matched query budgets across formality rewriting, code debugging, and translation. For example, on BIG-Bench informative-to-formal rewriting, accuracy improves from 61.3 +/- 0.7% to approximately 85-90%, yielding an absolute gain of about 25-30 points. Moreover, auto-debugging shows about +25-point gains under domain shift. Meanwhile, stable tasks such as cause-and-effect remain above 96%, indicating no loss on in-distribution cases. Furthermore, improvements are consistent across divergence choices and decoding temperatures. Overall, DRO-InstructZero connects distributionally robust optimization with prompt learning, offering a plug-and-play and general approach for reliable, transferable prompt alignment under real-world uncertainty.
• Abstract（参考訳）: 大規模言語モデルは、早急な語遣いに非常に敏感である。 しかし、InstructZeroを含む一般的な自動プロンプト検索手法は、単一評価分布下での期待性能を最適化するため、分散シフトや逆評価で劣化することが多い。 結果として、ある設定での作業は、しばしば転送に失敗する。 これを解決するため、DRO-InstructZeroはゼロショットプロンプト最適化を頑健なベイズ最適化として定式化する。 具体的には、f分割球は、評価分布に設定されたあいまいさを定義し、ロバストな取得規則は、ベイズ探索のクエリ効率を維持しながら、最悪のケース予測ユーティリティを最大化する。 したがって, 平均行動のみではなく, 分布シフト下での信頼性を明示的に目標とする。 実験は、形式的な書き換え、コードデバッギング、翻訳にマッチしたクエリ予算を備えたインストラクション推論プロトコルに従う。 例えば、BIG-Benchのインフォメーション・ツー・フォーマルな書き換えでは、精度が61.3 +/- 0.7%から約85-90%に向上し、25-30ポイントの絶対ゲインが得られる。 さらに、自動デバッグはドメインシフトの下では+25ポイントのゲインを示す。 一方、原因・効果などの安定なタスクは96%以上であり、流通中のケースでは損失は見られなかった。 さらに、分散選択と復号化温度の間で改善は一貫している。 全体として、DRO-InstructZeroは分布的に堅牢な最適化と即時学習を結び、実世界の不確実性の下で信頼性があり、転送可能なプロンプトアライメントのためのプラグアンドプレイと一般的なアプローチを提供する。

関連論文リスト

• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• SMaRt: Improving GANs with Score Matching Regularity [114.43433222721025]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることがわかった。 提案手法は, 実世界のデータセットにおいて, 近似スコア関数として機能する事前学習拡散モデルを用いて, 最先端のGANの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
  本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。 提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。 MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-31T03:29:31Z)
• Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
  我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。 DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
  論文  参考訳（メタデータ） (2023-06-24T19:22:01Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。