論文の概要: Robustness Starts with the Objective: Designing and Certifying Robust LLM-Generated Heuristics

• arxiv url: http://arxiv.org/abs/2611.00504v1
• Date: Sat, 31 Oct 2026 00:49:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.410377
• Title: Robustness Starts with the Objective: Designing and Certifying Robust LLM-Generated Heuristics
• Title（参考訳）: ロバストネスは目的から始まる:ロバストLLM生成ヒューリスティックの設計と認定
• Abstract要約: 本稿では,リスク条件値(CVaR)を用いてLLM合成を誘導するフレームワークTAILORについて述べる。 負対CVaRは、未知の最適値に対する平均性能とテール最適値の差が、最適値の計算を行なわずに向上することを示す。 7つの多様な最適化ベンチマークでテストされ、TAILORは99%の信頼性で認定され、ベースライン上の平均性能とテール最適性のギャップを6つで改善する。
• 参考スコア（独自算出の注目度）: 9.442243413534442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly used to design heuristics for computer systems. However, most synthesis frameworks evaluate candidates by their average performance, which can mask severe regressions on specific workloads. Even adding adversarial training inputs doesn't eliminate these regressions, and percentile objectives (e.g., optimizing for the 95th percentile) overlook how severe regressions can be beyond the selected threshold. We present TAILOR, a framework that guides LLM synthesis using the Conditional Value at Risk (CVaR) of the cost difference between each candidate and an existing baseline on the same workload. This paired CVaR measures the average difference over the worst fraction of workloads. We show that a negative paired CVaR guarantees improvements in both average performance and tail optimality gap relative to the unknown optimum, without ever computing that optimum. We find that TAILOR achieves the best mean--tail trade-off among the synthesis objectives we evaluate across three case studies: Azure GPU batch admission, Azure VM packing, and server placement. Tested across seven diverse optimization benchmarks, TAILOR produces heuristics that are certified with 99% confidence to improve both average performance and tail optimality gaps over the baseline in six of them. On these six benchmarks, TAILOR also outperforms known robust, human-designed alternatives in the tail while achieving better or comparable average-performance improvement over the baseline.
• Abstract（参考訳）: LLMはコンピュータシステムのためのヒューリスティック設計にますます使われている。 しかし、ほとんどの合成フレームワークは、特定のワークロードに対する厳しい回帰を隠蔽できる平均的なパフォーマンスで候補を評価する。 敵のトレーニング入力を追加することでも、これらの回帰は排除されませんし、パーセンタイル目標(例:95%のパーセンタイルを最適化するなど)は、選択されたしきい値を超えた厳格な回帰がいかに厳しいかを見落としています。 本稿では,リスク条件値(CVaR)を用いてLLM合成を誘導するフレームワークTAILORについて述べる。 このペアCVaRは、ワークロードの最悪の部分に対する平均的な差を測定します。 負対CVaRは、未知の最適値に対する平均性能とテール最適値の差が、最適値の計算を行なわずに向上することを示す。 TAILORは、Azure GPUバッチの受け入れ、Azure VMのパッキング、サーバ配置という3つのケーススタディで評価した合成目標の中で、最高の平均トレードオフを実現しています。 TAILORは7つの多様な最適化ベンチマークでテストされ、6つのベースラインにおける平均性能とテール最適性ギャップを改善するため、99%の信頼性で認証されたヒューリスティックを生成する。 これら6つのベンチマークでは、TAILORは、ベースラインよりも優れた、あるいは同等の平均的なパフォーマンス向上を達成しつつ、既知の堅牢で人間設計の代替品よりも優れたパフォーマンスを実現している。

関連論文リスト

• COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
  大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。 既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。 動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
  論文  参考訳（メタデータ） (2026-09-10T15:12:24Z)
• Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
  エージェント最適化法で報告されているほとんどの利得はワンショットである。 これは、デプロイされたエージェントにとって重要な設定をテストするものではない。 エージェントハーネス最適化に対する3つのアプローチを比較する。
  論文  参考訳（メタデータ） (2026-07-15T16:36:04Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Divide, Optimize, Merge: Fine-Grained LLM Agent Optimization at Scale [19.60416591361918]
  Fine-Grained Optimization (FGO)は、大規模最適化タスクを管理可能なサブセットに分割し、ターゲット最適化を実行し、プログレッシブマージを通じて最適化されたコンポーネントを体系的に結合するスケーラブルなフレームワークである。 ALFWorld、LogisticsQA、GAIAベンチマークによる評価では、FGOは既存のアプローチを1.6-8.6%上回り、平均的なプロンプトトークン消費量を56.3%削減している。
  論文  参考訳（メタデータ） (2025-05-06T20:50:27Z)
• C3PO: Critical-Layer, Core-Expert, Collaborative Pathway Optimization for Test-Time Expert Re-Mixing [21.119495676190127]
  Mixture-of-Experts (MoE) Large Language Models (LLMs) は、高度に最適化されたエキスパートパスに苦しむ。 プレトレーニングから学んだナイーブな専門家選択は、改善のための驚くべき10～20%の精度ギャップを残します。 テストサンプル毎に異なるレイヤのエキスパートを共同で再重み付けあるいは「再混合」するための新しいテスト時間最適化手法を開発する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:56Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [59.12061830645018]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。