論文の概要: Frontier LLMs are effective batch optimizers: Assessing reasoning models in continuous and discrete settings

• arxiv url: http://arxiv.org/abs/2609.03177v1
• Date: Wed, 02 Sep 2026 21:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.859861
• Title: Frontier LLMs are effective batch optimizers: Assessing reasoning models in continuous and discrete settings
• Title（参考訳）: Frontier LLMsは効果的なバッチオプティマイザ:連続的および離散的設定における推論モデルの評価
• Abstract要約: 先進的な大規模言語モデル(LLM)は、大規模な事前訓練のため、最適化のための魅力的な先駆者となっている。 本研究では,現在のフロンティアLLMのバッチ前処理性能について,連続的および離散的設定の両方で検討する。 LLMは、セマンティックにリッチな設定において著しく優れており、それらのバッチ最適化の挙動は、離散空間をナビゲートし、推論する際に非常に効果的であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier large language models (LLMs) have become attractive priors for optimization due to their large-scale pretraining that enables them to navigate a variety of optimization settings. However, the effectiveness of modern reasoning LLMs in batch optimization settings remains underexplored. Here we investigate the performance of the current generation of frontier LLMs as batch optimizers in both continuous and discrete settings. We find that while LLMs are competitive zero-shot batch optimizers for numerical test functions, their performance is brittle compared to classical non-LLM optimization approaches. However, LLM priors are significantly better in semantically rich settings, indicating that their batch optimization behavior is highly effective when navigating and reasoning over the discrete spaces most similar in structure to their pretraining data.
• Abstract（参考訳）: 先進的な大規模言語モデル (LLM) は、様々な最適化設定をナビゲートできる大規模な事前トレーニングのために、最適化のための魅力的な先駆者になっている。 しかし、バッチ最適化設定における現代の推論 LLM の有効性は未検討のままである。 本稿では,現在のフロンティアLLMの連続的および離散的設定におけるバッチオプティマイザとしての性能について検討する。 LLMは数値テスト関数のゼロショットバッチ最適化と競合するが、従来の非LLM最適化手法と比較して性能は不安定である。 しかし, LLM の先行処理はセマンティックにリッチな設定では著しく優れており, 事前学習データに最もよく似た構造を持つ離散空間をナビゲートし, 推論する際には, バッチ最適化の挙動が極めて効果的であることが示唆された。

関連論文リスト

• The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs [86.27977008139435]
  JoBSは、ベイジアン最適化を支援するために、スケーリング法則にインスパイアされたパフォーマンス予測器を使用するアプローチである。 JoBSの平均的後悔を調査し、後悔を最小限に抑えるために最適な予算配分を考案する。
  論文  参考訳（メタデータ） (2026-02-09T07:33:40Z)
• A Meta-Knowledge-Augmented LLM Framework for Hyperparameter Optimization in Time-Series Forecasting [0.0]
  LLM-AutoOptは,BOとLLMに基づく文脈推論を組み合わせたハイブリッドHPOフレームワークである。 LLM-AutoOpt はメタ知識のない BO や LLM のベースラインと比較して,予測性能の向上と解釈可能な最適化動作の向上を実現している。
  論文  参考訳（メタデータ） (2026-02-01T21:26:57Z)
• GPTOpt: Towards Efficient LLM-Based Black-Box Optimization [33.09351655863645]
  大規模言語モデル(LLM)は幅広い能力を示してきたが、継続的なブラックボックス最適化タスクの解決にはまだ最先端のモデルが限られている。 連続的なブラックボックス最適化機能を備えたLLMを最適化するGPToptを導入する。
  論文  参考訳（メタデータ） (2025-10-29T11:21:55Z)
• Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization [69.05600758833471]
  マルチモーダル大言語モデル(MLLM)における幻覚を緩和するための効果的なアプローチとして、直接選好最適化(DPO)が登場している。 我々は、直接選好監督(応答対)を伴う対称選好学習を行うシンメトリ・マルチモーダル選好最適化(SymMPO)を提案する。 従来の順序的嗜好学習に加えて、SymMPOは、左右の選好ペア間の選好ギャップを定量的に調節する、選好マージン整合性損失を導入している。
  論文  参考訳（メタデータ） (2025-06-13T12:29:15Z)
• Divide, Optimize, Merge: Fine-Grained LLM Agent Optimization at Scale [19.60416591361918]
  Fine-Grained Optimization (FGO)は、大規模最適化タスクを管理可能なサブセットに分割し、ターゲット最適化を実行し、プログレッシブマージを通じて最適化されたコンポーネントを体系的に結合するスケーラブルなフレームワークである。 ALFWorld、LogisticsQA、GAIAベンチマークによる評価では、FGOは既存のアプローチを1.6-8.6%上回り、平均的なプロンプトトークン消費量を56.3%削減している。
  論文  参考訳（メタデータ） (2025-05-06T20:50:27Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。