論文の概要: COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier

• arxiv url: http://arxiv.org/abs/2510.01178v1
• Date: Wed, 01 Oct 2025 17:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.717477
• Title: COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier
• Title（参考訳）: COM-BOM:Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier
• Authors: Gaoxiang Luo, Aryan Deshwal,
• Abstract要約: 先行探索法は予測精度とモデル校正を狭義に最適化する。 本稿では,予測精度の決定値とキャリブレーション誤差の最小化の両方を対象とする多目的最適化問題を定式化する。 その結果,COM-BOMは2つの目的を協調的に最適化する上で,ベースラインに打ち勝つか一致することがわかった。
• 参考スコア（独自算出の注目度）: 12.261526989434282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting an optimal set of exemplars is critical for good performance of in-context learning. However, prior exemplar search methods narrowly optimize for predictive accuracy, critically neglecting model calibration--a key determinant of trustworthiness and safe deployment. In this paper, we formulate exemplar selection as a multi-objective optimization problem, explicitly targeting both the maximization of predictive accuracy and the minimization of expected calibration error. We solve this problem with a sample-efficient Combinatorial Bayesian Optimization algorithm (COM-BOM) to find the Pareto front that optimally trades off the two objectives of accuracy and calibration. We evaluate COM-BOM on multiple tasks from unsaturated MMLU-Pro benchmark and find that COM-BOM beats or matches the baselines at jointly optimizing the two objectives, while requiring a minimal number of LLM API calls.
• Abstract（参考訳）: テキスト内学習の性能向上のためには,最適な例の集合を選択することが重要である。 しかし,従来の探索手法では,モデルキャリブレーションを批判的に無視し,予測精度を狭義に最適化していた。 本稿では,予測精度の最大化とキャリブレーション誤差の最小化の両方を対象とし,多目的最適化問題として例示選択を定式化する。 我々はこの問題を、精度と校正の2つの目的を最適に引き離すパレートフロントを見つけるために、COM-BOM(Commerial Bayesian Optimization Algorithm)というサンプル効率のよいアルゴリズムを用いて解決する。 我々は、不飽和MMLU-Proベンチマークから、複数のタスクにおけるCOM-BOMを評価し、COM-BOMが2つの目的を協調的に最適化し、最小限のLLM API呼び出しを必要とすることを発見した。

関連論文リスト

• Scalable Min-Max Optimization via Primal-Dual Exact Pareto Optimization [66.51747366239299]
  拡張ラグランジアンに基づくmin-max問題のスムーズな変種を提案する。 提案アルゴリズムは, 段階的戦略よりも目的数で拡張性が高い。
  論文  参考訳（メタデータ） (2025-03-16T11:05:51Z)
• Multi-Objective Bayesian Optimization with Active Preference Learning [18.066263838953223]
  本稿では,多目的最適化 (MOO) 問題において最も望ましい解を特定するためのベイズ最適化 (BO) 手法を提案する。 また、意思決定者(DM)との相互作用コストを最小限に抑えるため、選好推定のためのアクティブラーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-22T15:24:36Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• Optimization on Pareto sets: On a theory of multi-objective optimization [7.907376287850398]
  多目的最適化では、単一の決定ベクトルは、多くの目的間のトレードオフのバランスをとる必要がある。 我々は,制約セットの最適化を目標とする,より現実的に重要な最適化問題を考える。
  論文  参考訳（メタデータ） (2023-08-04T05:55:52Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Efficient first-order predictor-corrector multiple objective optimization for fair misinformation detection [5.139559672771439]
  多重目的最適化(MOO)は、複数の競合する目的を同時に最適化することを目的としており、機械学習において重要な応用を見出した。 本稿では,線形にしかスケールしないガウスニュートン近似を提案し,イテレーション毎に一階内積しか必要としない。 このイノベーションは、大規模ネットワークで予測器のコレクタを可能にする。
  論文  参考訳（メタデータ） (2022-09-15T12:32:15Z)
• Bi-objective Ranking and Selection Using Stochastic Kriging [0.0]
  両目的のランク付けと選択の問題について検討し,その2つの目的が不確実性をもって観測された。 そこで本研究では,競合する解に対して逐次サンプルを割り当てるバイーシアン双対象ランクと選別法を提案する。 実験結果から,提案手法は標準的なアロケーション手法よりも優れており,また,よく知られた最先端のアルゴリズムも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-09-05T23:51:07Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Goal Seeking Quadratic Unconstrained Binary Optimization [0.5439020425819]
  本稿では,目標からのずれを最小限に抑える2種類の目標探索QUBOを提案する。 本論文では、タブー探索に基づく1フリップによる目標からの偏差を最小限に抑える2種類の目標探索QUBOについて述べる。
  論文  参考訳（メタデータ） (2021-03-24T03:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。