論文の概要: LLM-Based Evaluation Planning for Heterogeneous Optimization

• arxiv url: http://arxiv.org/abs/2610.24855v1
• Date: Sat, 17 Oct 2026 20:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:42:54.00697
• Title: LLM-Based Evaluation Planning for Heterogeneous Optimization
• Title（参考訳）: 不均一最適化のためのLCMに基づく評価計画
• Abstract要約: 本稿では,ルールベースの混合忠実度選択ステップを大規模言語モデル(LLM)プランナに置き換える推論に基づく評価プランナREP-HOを提案する。 我々はまず,REP-HOが人間設計のメートル法(MFE-NSGA-III)と比較して競争力を発揮することを示す。 そして、より適応的な最寄りの要約によって、各決定をさらに強化し、より良い、より安定した結果をもたらす。
• 参考スコア（独自算出の注目度）: 7.56991321600702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous optimization problems require an optimizer to decide not only which candidate solutions to evaluate, but also which objectives and constraints should be evaluated under different costs and fidelities. Existing SOTA methods such as MFE-NSGA-III address this setting with manually designed selection metrics, but their behavior is largely determined by predefined heuristic rules and hyperparameters. In this work, we propose REP-HO, a reasoning-based evaluation planner that replaces the rule-based mixed-fidelity selection step with a large language model (LLM) planner. The LLM receives the same primitive optimization-state information as the heuristic planner, such as surrogate predictions, uncertainties, evaluation costs, and budget status. We first show that REP-HO achieves competitive performance compared to the human-designed metric-based method (MFE-NSGA-III). We then further enhance each decision with an adaptive nearest-neighbor summary, leading to better and more stable results. We evaluate REP-HO across five heterogeneous regimes covering cost imbalance, constraint difficulty, surrogate fidelity, budget level, and objective conflict. Across these regimes, one of the two variants obtains the best mean ranking score in every regime, REP-HO(Deepseek) is first or second throughout, and the planner shows adaptive allocation behavior, such as prioritizing constraint evaluations under tighter budgets and reallocating constraint evaluation budget when surrogate reliability changes. These results suggest that LLMs can serve as flexible evaluation planners for heterogeneous optimization, offering a general alternative to fixed hand-designed metrics.
• Abstract（参考訳）: 不均一な最適化問題では、どの候補ソリューションを評価するかだけでなく、どの目的や制約を異なるコストと忠実さで評価すべきかを最適化する必要がある。 MFE-NSGA-IIIのような既存のSOTA手法はこの設定に手動で設計した選択指標で対処するが、その振る舞いは予め定義されたヒューリスティックなルールとハイパーパラメータによって決定される。 本研究では,ルールベースの混合忠実度選択ステップを大規模言語モデル(LLM)プランナに置き換える推論に基づく評価プランナであるREP-HOを提案する。 LLMは、シュロゲート予測、不確実性、評価コスト、予算状態など、ヒューリスティックプランナーと同じ原始的な最適化状態情報を受け取る。 まず,REP-HOは人間設計のメートル法 (MFE-NSGA-III) と比較して,競争性能が高いことを示す。 そして、より適応的な最寄りの要約によって、各決定をさらに強化し、より良い、より安定した結果をもたらす。 コスト不均衡,制約難易度,忠実度,予算水準,客観的コンフリクトを考慮したREP-HOの評価を行った。 これらの制度全体では、2つの変種のうちの1つであるREP-HO(Deepseek)は1位または2位であり、プランナーは、より厳格な予算下での制約評価の優先順位付けや信頼性の変化に伴う制約評価予算の再配置など、適応的なアロケーション行動を示す。 これらの結果から,LLMは不均一な最適化のためのフレキシブルな評価プランナとして機能し,固定手設計メトリクスの一般的な代替手段となることが示唆された。

関連論文リスト

• Principled Algorithms for Optimizing Generalized Metrics in Binary Classification [53.604375124674796]
  一般化されたメトリクスを最適化するアルゴリズムを導入し、$H$-consistency と finite-sample generalization bounds をサポートする。 提案手法は,メトリクス最適化を一般化したコスト依存学習問題として再検討する。 我々は,理論性能を保証する新しいアルゴリズムMETROを開発した。
  論文  参考訳（メタデータ） (2025-12-29T01:33:42Z)
• Hierarchical Evaluation Function: A Multi-Metric Approach for Optimizing Demand Forecasting Models [0.479839492673697]
  ハイパーパラメータ最適化のためのマルチメトリックフレームワークとして階層評価関数(HEF)を提案する。 HEFは説明力(R2)、過度エラーに対する感度(RMSE)、平均精度(MAE)を統合している。 HEFの性能は予測領域で広く認識されている4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2025-08-18T16:25:49Z)
• A RankNet-Inspired Surrogate-Assisted Hybrid Metaheuristic for Expensive Coverage Optimization [5.757318591302855]
  大規模カバレッジ最適化タスクを処理するために,RangeNetによるSurrogate支援ハイブリッドメタヒューリスティックを提案する。 我々のアルゴリズムは、EMVOPの最先端アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-13T14:49:05Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。