論文の概要: Submodular Evaluation Subset Selection in Automatic Prompt Optimization

• arxiv url: http://arxiv.org/abs/2601.03493v1
• Date: Wed, 07 Jan 2026 01:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.102364
• Title: Submodular Evaluation Subset Selection in Automatic Prompt Optimization
• Title（参考訳）: 自動プロンプト最適化におけるサブモジュール評価サブセット選択
• Authors: Jinming Nian, Zhiyuan Peng, Hongwei Shang, Dae Hoon Park, Yi Fang,
• Abstract要約: 原理的観点から,迅速な最適化のための評価サブセット選択について検討する。 対象集合関数の最大化としてフレーム選択を行い、穏やかな条件下では単調かつ部分モジュラーであることが示せる。 GSM8K、MATH、GPQA-Diamond全体で、サブモジュール選択された評価サブセットは、ランダムやベースラインよりも最適化されたプロンプトが得られる。
• 参考スコア（独自算出の注目度）: 10.54347571741568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic prompt optimization reduces manual prompt engineering, but relies on task performance measured on a small, often randomly sampled evaluation subset as its main source of feedback signal. Despite this, how to select that evaluation subset is usually treated as an implementation detail. We study evaluation subset selection for prompt optimization from a principled perspective and propose SESS, a submodular evaluation subset selection method. We frame selection as maximizing an objective set function and show that, under mild conditions, it is monotone and submodular, enabling greedy selection with theoretical guarantees. Across GSM8K, MATH, and GPQA-Diamond, submodularly selected evaluation subsets can yield better optimized prompts than random or heuristic baselines.
• Abstract（参考訳）: 自動プロンプト最適化は手動のプロンプトエンジニアリングを減らすが、フィードバック信号の主源として、小さな、しばしばランダムにサンプリングされた評価サブセットで測定されたタスクパフォーマンスに依存する。 それにもかかわらず、評価サブセットの選択方法は通常、実装の詳細として扱われる。 本稿では,原理的観点からの即時最適化のための評価サブセット選択について検討し,サブモジュール評価サブセット選択法であるSESSを提案する。 対象集合関数の最大化として選択をフレーム化し、穏やかな条件下では単調で部分モジュラーであり、理論的な保証で欲求選択を可能にすることを示す。 GSM8K、MATH、GPQA-Diamond全体で、サブモジュール選択された評価サブセットは、ランダムまたはヒューリスティックなベースラインよりも最適化されたプロンプトが得られる。

関連論文リスト

• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Sub-SA: Strengthen In-context Learning via Submodular Selective Annotation [4.846839863393725]
  サブモジュールに基づく選択的アノテーション法であるSub-SA(Submodular Selective )を提案する。 Sub-SAの目的は、アノテーションのコストを削減しつつ、コンテキスト内サンプルの品質を向上させることである。 また、ラベルなしデータセットの多様性と代表性のバランスを改善するために、RPR(Reward and Penalty Regularization)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T07:47:30Z)
• Localized Distributional Robustness in Submodular Multi-Task Subset Selection [5.116582735311639]
  標準マルチタスク目標に対する相対エントロピーを利用する正規化項を提案する。 この新規な定式化は、部分モジュラ函数からなる単調増加関数と等価であることを示す。 新たな定式化は, 局所的に分布性が高く, 計算コストも低い解を生成すると結論づける。
  論文  参考訳（メタデータ） (2024-04-04T19:06:29Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Submodular Reinforcement Learning [38.40138241424851]
  強化学習(RL)では、状態の報酬は通常加法的と見なされ、マルコフの仮定に従って、それらは以前に訪れた状態に対して$textitindependent$である。 カバー範囲制御、実験設計、情報経路計画といった多くの重要な応用において、報酬は自然にリターンを減少させ、すなわち、それらの価値は以前に訪れた同様の状態から減少する。 減少するリターンをキャプチャするサブモジュール集合関数をモデルとした,より汎用的で非付加的(かつ履歴に依存しない)報酬を最適化するパラダイムである$textitsubmodular RL$ (SubRL)を提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:46:02Z)
• Streaming Adaptive Submodular Maximization [19.29174615532181]
  実用関数の新しいクラス、半政治的な部分モジュラー関数を導入する。 本研究では,ストリームベース環境下での半政治的部分モジュラ関数の最大化に有効なアルゴリズムの開発を行う。
  論文  参考訳（メタデータ） (2022-08-17T02:05:10Z)
• Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach [12.710158664288784]
  ルール集合を学習するための部分モジュラ最適化に基づくアプローチを検討する。 我々は、部分モジュラリティを示す客観的関数を用い、従って、部分モジュラリティ最適化手法を適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T07:41:47Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• The Power of Subsampling in Submodular Maximization [51.629656762796564]
  このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。 我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-04-06T20:25:57Z)
• Fast Greedy Subset Selection from Large Candidate Solution Sets in Evolutionary Multi-objective Optimization [11.110675371854988]
  本稿では,超体積,IGD,IGD+インジケータのグリーディ部分選択の効率について論じる。 我々の考えは、超体積インジケータで知られている部分モジュラー特性を用いて、それらの効率を改善することである。
  論文  参考訳（メタデータ） (2021-02-01T16:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。