論文の概要: Model Performance-Guided Evaluation Data Selection for Effective Prompt Optimization

• arxiv url: http://arxiv.org/abs/2505.10736v2
• Date: Wed, 21 May 2025 21:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.422155
• Title: Model Performance-Guided Evaluation Data Selection for Effective Prompt Optimization
• Title（参考訳）: 効率的なプロンプト最適化のためのモデル性能誘導評価データ選択
• Authors: Ximing Dong, Shaowei Wang, Dayi Lin, Ahmed E. Hassan,
• Abstract要約: IPOMPは、セマンティッククラスタリングとバウンダリ分析を使用して、代表的で多様なサンプルを選択する2段階のアプローチである。 我々は、IPOMPがSOTAベースラインと比較して、効率を1.6%から5.3%改善し、安定性を少なくとも57%向上させることを示した。
• 参考スコア（独自算出の注目度）: 12.683042228674694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing Large Language Model (LLM) performance requires well-crafted prompts, but manual prompt engineering is labor-intensive and often ineffective. Automated prompt optimization techniques address this challenge but the majority of them rely on randomly selected evaluation subsets, which fail to represent the full dataset, leading to unreliable evaluations and suboptimal prompts. Existing coreset selection methods, designed for LLM benchmarking, are unsuitable for prompt optimization due to challenges in clustering similar samples, high data collection costs, and the unavailability of performance data for new or private datasets. To overcome these issues, we propose IPOMP, an Iterative evaluation data selection for effective Prompt Optimization using real-time Model Performance. IPOMP is a two-stage approach that selects representative and diverse samples using semantic clustering and boundary analysis, followed by iterative refinement with real-time model performance data to replace redundant samples. Evaluations on the BIG-bench dataset show that IPOMP improves effectiveness by 1.6% to 5.3% and stability by at least 57% compared with SOTA baselines, with minimal computational overhead below 1%. Furthermore, the results demonstrate that our real-time performance-guided refinement approach can be universally applied to enhance existing coreset selection methods.
• Abstract（参考訳）: LLM(Large Language Model)のパフォーマンスを最適化するには、巧妙なプロンプトが必要だが、手動のプロンプトエンジニアリングは労働集約的であり、しばしば非効率である。 自動プロンプト最適化技術はこの課題に対処するが、その大半はランダムに選択された評価サブセットに依存しており、完全なデータセットを表現できないため、信頼性の低い評価や準最適プロンプトに繋がる。 LLMベンチマーク用に設計された既存のコアセット選択方法は、類似したサンプルのクラスタリング、高いデータ収集コスト、新しいデータセットやプライベートデータセットのパフォーマンスデータが利用できないため、迅速な最適化には適していない。 これらの問題を解決するために,実時間モデル性能を用いた効果的なプロンプト最適化のための反復評価データ選択であるIPOMPを提案する。 IPOMPはセマンティッククラスタリングとバウンダリ分析を使用して、代表および多種多様なサンプルを選択した2段階のアプローチである。 BIG-benchデータセットの評価によると、IPOMPは効果を1.6%から5.3%改善し、安定性は少なくとも57%向上し、計算オーバーヘッドは1%未満である。 さらに,我々の実時間性能誘導改良手法は,既存のコアセット選択手法を改良するために普遍的に適用可能であることを示す。

関連論文リスト

• LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning [22.242445543184264]
  我々は,標準トレーニングループ内でサンプルユーティリティを完全に正確に推定する,効率的な反復的データ選択フレームワークであるLEADを提案する。 実験の結果、LEADは最先端の手法を著しく上回り、平均モデル性能は6.1%-10.8%向上し、トレーニングデータの2.5%しか使用せず、全体のトレーニング時間を5-10倍短縮した。
  論文  参考訳（メタデータ） (2025-05-12T10:57:51Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling [3.7467864495337624]
  SubLIMEはテキスト・ツー・イメージ・モデルのためのデータ効率評価フレームワークである。 我々のアプローチは、完全なデータセットと比較して統計的に整合したモデルランキングを保証する。 HEIMのリーダーボードを利用して、17の異なるベンチマークで25のテキスト・ツー・イメージモデルをカバーしています。
  論文  参考訳（メタデータ） (2024-06-21T07:38:55Z)
• FIPO: Free-form Instruction-oriented Prompt Optimization with Preference Dataset and Modular Fine-tuning Schema [36.65009632307124]
  大規模言語モデル(LLM)のタスク性能向上のためのFIPO(Free-from Instruction-oriented Prompt Optimization)を提案する。 FIPOはモジュール型のAPOテンプレートを使用して、単純で最適化されたプロンプトを生成するために、ナイーブなタスク命令、オプションの命令応答、オプションの接地真理を動的に統合する。 5つの公開ベンチマークと6つのテストモデルでFIPOフレームワークを検証する。
  論文  参考訳（メタデータ） (2024-02-19T03:56:44Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。