論文の概要: Adaptive Simulation Experiment for LLM Policy Optimization

• arxiv url: http://arxiv.org/abs/2604.08779v1
• Date: Thu, 09 Apr 2026 21:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.587731
• Title: Adaptive Simulation Experiment for LLM Policy Optimization
• Title（参考訳）: LLM政策最適化のための適応シミュレーション実験
• Authors: Mingjie Hu, Siyang Gao, Jian-qiang Hu, Enlu Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、運用管理における運用効率を改善する大きな可能性を秘めている。 これらのモデルをデプロイするには、応答品質を管理し、ユーザエクスペリエンスを形作り、運用価値に影響を与えるポリシーを指定する必要があります。 本研究は,候補の有限集合から最適方針を特定するためのペアワイズ比較に基づく適応シミュレーション実験を提案する。
• 参考スコア（独自算出の注目度）: 10.11723645147155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have significant potential to improve operational efficiency in operations management. Deploying these models requires specifying a policy that governs response quality, shapes user experience, and influences operational value. In this research, we treat LLMs as stochastic simulators and propose a pairwise comparison-based adaptive simulation experiment framework for identifying the optimal policy from a finite set of candidates. We consider two policy spaces: an unstructured space with no parametric assumption, and a structured space in which the data are generated from a preference model. For both settings, we characterize the fundamental data requirements for identifying the optimal policy with high probability. In the unstructured case, we derive a closed-form expression for the optimal sampling proportions, together with a clear operational interpretation. In the structured case, we formulate a regularized convex program to compute the optimal proportions. We then develop an adaptive experimental procedure, termed LLM-PO, for both policy spaces, and prove that it identifies the optimal policy with the desired statistical guarantee while asymptotically attaining the fundamental data requirements. Numerical experiments demonstrate that LLM-PO consistently outperforms benchmark methods and improves LLM performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、運用管理における運用効率を改善する大きな可能性を秘めている。 これらのモデルをデプロイするには、応答品質を管理し、ユーザエクスペリエンスを形作り、運用価値に影響を与えるポリシーを指定する必要があります。 本研究では,LLMを確率的シミュレータとして扱い,有限個の候補から最適ポリシーを特定するためのペアワイズ比較ベース適応シミュレーション実験フレームワークを提案する。 パラメトリックな仮定を持たない非構造化空間と、嗜好モデルからデータが生成される構造化空間という2つのポリシー空間を考える。 両設定において、最適なポリシーを高い確率で識別するための基本データ要件を特徴付ける。 非構造の場合、最適サンプリング比の閉形式式と明確な操作解釈を導出する。 構造化の場合、最適な比率を計算するために正規化された凸プログラムを定式化する。 次に、両政策空間に対してLLM-POと呼ばれる適応的な実験手順を開発し、その基本データ要件を漸近的に達成しつつ、所望の統計的保証で最適な政策を特定することを証明した。 数値実験により, LLM-POはベンチマーク法より一貫して優れ, LLMの性能が向上することが示された。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Sample Efficient Model-free Reinforcement Learning from LTL Specifications with Optimality Guarantees [17.69385864791265]
  未知のシステムに対して最適なポリシーを効率的に学習するモデルフリー強化学習(RL)手法を提案する。 また、最適性を確保するために鍵パラメータの選択に関する理論的結果も改善した。
  論文  参考訳（メタデータ） (2023-05-02T12:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。