論文の概要: Submodular Evaluation Subset Selection in Automatic Prompt Optimization

• arxiv url: http://arxiv.org/abs/2601.03493v1
• Date: Wed, 07 Jan 2026 01:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.102364
• Title: Submodular Evaluation Subset Selection in Automatic Prompt Optimization
• Title（参考訳）: 自動プロンプト最適化におけるサブモジュール評価サブセット選択
• Abstract要約: 原理的観点から,迅速な最適化のための評価サブセット選択について検討する。 対象集合関数の最大化としてフレーム選択を行い、穏やかな条件下では単調かつ部分モジュラーであることが示せる。 GSM8K、MATH、GPQA-Diamond全体で、サブモジュール選択された評価サブセットは、ランダムやベースラインよりも最適化されたプロンプトが得られる。
• 参考スコア（独自算出の注目度）: 10.54347571741568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic prompt optimization reduces manual prompt engineering, but relies on task performance measured on a small, often randomly sampled evaluation subset as its main source of feedback signal. Despite this, how to select that evaluation subset is usually treated as an implementation detail. We study evaluation subset selection for prompt optimization from a principled perspective and propose SESS, a submodular evaluation subset selection method. We frame selection as maximizing an objective set function and show that, under mild conditions, it is monotone and submodular, enabling greedy selection with theoretical guarantees. Across GSM8K, MATH, and GPQA-Diamond, submodularly selected evaluation subsets can yield better optimized prompts than random or heuristic baselines.
• Abstract（参考訳）: 自動プロンプト最適化は手動のプロンプトエンジニアリングを減らすが、フィードバック信号の主源として、小さな、しばしばランダムにサンプリングされた評価サブセットで測定されたタスクパフォーマンスに依存する。 それにもかかわらず、評価サブセットの選択方法は通常、実装の詳細として扱われる。 本稿では,原理的観点からの即時最適化のための評価サブセット選択について検討し,サブモジュール評価サブセット選択法であるSESSを提案する。 対象集合関数の最大化として選択をフレーム化し、穏やかな条件下では単調で部分モジュラーであり、理論的な保証で欲求選択を可能にすることを示す。 GSM8K、MATH、GPQA-Diamond全体で、サブモジュール選択された評価サブセットは、ランダムまたはヒューリスティックなベースラインよりも最適化されたプロンプトが得られる。

関連論文リスト

• Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks [31.891185002244146]
  評価教師なしベンチマークコアセット選択では、選択アルゴリズムはモデル評価結果を使用しない。 この目的のために,決定点プロセス(DPP)に基づくアプローチを含む,様々なサブモジュール関数を開発し,評価する。 提案する目的は評価アントラスト制度に限らず,少数のベンチマークのみを選択しなければならない状況では,同じ目標が一致したり,最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-07-02T18:37:18Z)
• Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts [22.060204303535187]
  システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,ベイズ最適化フレームワークReElicitを紹介する。
  論文  参考訳（メタデータ） (2026-05-18T20:28:17Z)
• MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization [66.81594613265833]
  直接選好最適化(DPO)を拡張したPlackett--Luce(PL)モデルに基づくマルチ負の選好最適化 そこで本研究では,PL固有のフィッシャー情報目的を導出し,各プロンプト内のコンパクトで情報的な負の部分集合を選択するマルチ負のアクティブサンプル選択法であるMASS-DPOを紹介する。 MASS-DPOは、既存の手法を常に精度で上回り、リコール/NDCGとマージンベースの最適化のダイナミクスを改善し、かなり少ない負のアライメントを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:18:08Z)
• Select Smarter, Not More: Prompt-Aware Evaluation Scheduling with Submodular Guarantees [28.54776477263591]
  本稿では, Prompt-Aware Online Evaluation Scheduling (POES)を提案する。 POESはIRTベースの識別ユーティリティ、施設位置のカバレッジ用語、スイッチングコストを意識したウォームスタートスワップを統一された目的に統合する。 POESは、無視できるトークンオーバーヘッドで、全体的な平均精度(最高のベースラインよりも6.2%改善)が最も高い。
  論文  参考訳（メタデータ） (2026-04-13T11:31:04Z)
• Multinoulli Extension: A Lossless Continuous Relaxation for Partition-Constrained Subset Selection [60.07018090570548]
  我々はパラメータフリーで、歪んだ局所探索法と同じ近似保証を実現できるMultinoulliSCGという新しいアルゴリズムを導入する。 また、分割制約に関する未探索オンラインサブセット選択問題に対して、Multinoulli-CGとMultinoulli-GAGAという2つの新しいオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-23T02:30:01Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Sub-SA: Strengthen In-context Learning via Submodular Selective Annotation [4.846839863393725]
  サブモジュールに基づく選択的アノテーション法であるSub-SA(Submodular Selective )を提案する。 Sub-SAの目的は、アノテーションのコストを削減しつつ、コンテキスト内サンプルの品質を向上させることである。 また、ラベルなしデータセットの多様性と代表性のバランスを改善するために、RPR(Reward and Penalty Regularization)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T07:47:30Z)
• Localized Distributional Robustness in Submodular Multi-Task Subset Selection [5.116582735311639]
  標準マルチタスク目標に対する相対エントロピーを利用する正規化項を提案する。 この新規な定式化は、部分モジュラ函数からなる単調増加関数と等価であることを示す。 新たな定式化は, 局所的に分布性が高く, 計算コストも低い解を生成すると結論づける。
  論文  参考訳（メタデータ） (2024-04-04T19:06:29Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Submodular Reinforcement Learning [38.40138241424851]
  強化学習(RL)では、状態の報酬は通常加法的と見なされ、マルコフの仮定に従って、それらは以前に訪れた状態に対して$textitindependent$である。 カバー範囲制御、実験設計、情報経路計画といった多くの重要な応用において、報酬は自然にリターンを減少させ、すなわち、それらの価値は以前に訪れた同様の状態から減少する。 減少するリターンをキャプチャするサブモジュール集合関数をモデルとした,より汎用的で非付加的(かつ履歴に依存しない)報酬を最適化するパラダイムである$textitsubmodular RL$ (SubRL)を提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:46:02Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Streaming Adaptive Submodular Maximization [19.29174615532181]
  実用関数の新しいクラス、半政治的な部分モジュラー関数を導入する。 本研究では,ストリームベース環境下での半政治的部分モジュラ関数の最大化に有効なアルゴリズムの開発を行う。
  論文  参考訳（メタデータ） (2022-08-17T02:05:10Z)
• Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach [12.710158664288784]
  ルール集合を学習するための部分モジュラ最適化に基づくアプローチを検討する。 我々は、部分モジュラリティを示す客観的関数を用い、従って、部分モジュラリティ最適化手法を適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T07:41:47Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• The Power of Subsampling in Submodular Maximization [51.629656762796564]
  このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。 我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-04-06T20:25:57Z)
• Fast Greedy Subset Selection from Large Candidate Solution Sets in Evolutionary Multi-objective Optimization [11.110675371854988]
  本稿では,超体積,IGD,IGD+インジケータのグリーディ部分選択の効率について論じる。 我々の考えは、超体積インジケータで知られている部分モジュラー特性を用いて、それらの効率を改善することである。
  論文  参考訳（メタデータ） (2021-02-01T16:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。