論文の概要: OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.36264v1
• Date: Mon, 28 Sep 2026 20:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.011987
• Title: OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models
• Title（参考訳）: OTROPE:大規模言語モデルのための最適輸送に基づくロバストオフ政治評価
• Abstract要約: 大規模言語モデル(LLM)の評価は,開発やデプロイメントには不可欠だが,コストがかかり,リスクが高く,オンラインでの安全な実行が難しいことが多い。 我々は、最適輸送に基づくロバストオフポリティ評価(OTROPE)を提案する。 OTROPEは、ラベル付き行動ポリティサンプルとラベル付き目標ポリティサンプルを整列させるために、最適な輸送を通して意味空間における分布補正を行う。
• 参考スコア（独自算出の注目度）: 4.929031586355841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable evaluation of large language models (LLMs) is essential for their development and deployment, yet is often costly, risky, and difficult to perform safely online. We study off-policy evaluation for LLMs, where limited human-labeled data from a behavior model are used to evaluate a newer target LLM. This setting is challenging because labels are scarce, behavior--target distribution shift is common, and response likelihoods are often unavailable for black-box LLMs. We propose the Optimal Transport-based Robust Off-Policy Evaluation (OTROPE), a likelihood-free evaluation that performs distributional correction in a semantic space via optimal transport to align labeled behavior-policy samples with unlabeled target-policy samples. OTROPE combines corrected human-labeled residuals with proxy predictors, yielding a doubly robust-style evaluation without behavior-policy modeling or density-ratio estimation. We theoretically characterize why baseline evaluators fail under LLM distribution shift, and establish consistency and convergence rates for OTROPE when either the reweighted behavior distribution or the proxy predictor converges. Experiments on synthetic and real LLM evaluation tasks show that OTROPE consistently outperforms baselines while enabling ensembles of weaker LLM evaluators to approach and sometimes surpass stronger evaluators. Code is available at https://github.com/LinerXiang/OTROPE.
• Abstract（参考訳）: 大規模言語モデル(LLM)の信頼性評価は、開発やデプロイメントには不可欠だが、コストがかかり、リスクが高く、オンラインで安全に実行するのが難しいことが多い。 行動モデルから得られた限られた人間ラベルデータを用いて,より新しい目標LLMを評価する。 この設定はラベルが乏しく、行動目標の分布シフトが一般的であり、応答可能性はしばしばブラックボックスのLCMでは利用できないため、難しい。 本稿では,最適輸送を用いたロバストオフポリシー評価(OTROPE)を提案する。これは,ラベル付き行動ポリシーサンプルとラベル付き目標ポリシーサンプルとを一致させるため,最適輸送による意味空間における分布補正を行う可能性のない評価である。 OTROPEは修正された人間のラベルの残差をプロキシ予測器と組み合わせ、行動政治モデルや密度比の推定を使わずに二重に頑健な評価を与える。 我々は,LLM分布シフトの下でベースライン評価器がフェールする理由を理論的に特徴付け,再重み付けされた挙動分布あるいはプロキシ予測器が収束した場合に,OTROPEの一貫性と収束率を確立する。 合成および実LLM評価タスクの実験は、OTROPEがベースラインを一貫して上回り、弱いLLM評価器のアンサンブルが接近し、時には強い評価器を上回りうることを示した。 コードはhttps://github.com/LinerXiang/OTROPEで入手できる。

関連論文リスト

• Post-hoc Alignment of LLM-judges to Human Judgment Distribution [3.0607199893136006]
  NAPHAはベースLLMモデルとデータセット間のソフトラベル予測を一貫して改善することを示す。 また, オラクル実験を通じて, エントロピークラス予測の改善は, NAPHAの実用性を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2026-09-01T11:03:56Z)
• APS: Bias-Controlled Adaptive Prototype Simulation for Population-Scale LLM Agents [23.922499684047263]
  本稿では,拡張性 LLM に基づくシミュレーションを,再帰的なオラクル配置問題として再設計するフレームワークを提案する。 Adaptive Prototype Simulation (APS) は、適応型コアプロトタイプ、選択されたシングルトンテールエージェント、シャドウ監査エージェントをクエリする。 APSは、完全なシミュレーションよりも381.1倍の削減を実現し、対応するフルLLM参照に対して0.094の参照整列最終ラウンドJSDを実現している。
  論文  参考訳（メタデータ） (2026-05-19T08:45:41Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Are LLMs Vulnerable to Preference-Undermining Attacks (PUA)? A Factorial Analysis Methodology for Diagnosing the Trade-off between Preference Alignment and Real-World Validity [45.92643973404507]
  我々は,協調型モデルが,操作的プロンプト戦略のクラスであるpreference-Undermining Attacks (PUA) に対して脆弱であるかどうかを検討する。 驚くべきことに、より高度なモデルは、時にはマニピュティブなプロンプトに影響を受けやすい。
  論文  参考訳（メタデータ） (2026-01-10T15:16:23Z)
• Reverse Engineering Human Preferences with Reinforcement Learning [15.70441204657966]
  大規模言語モデル(LLM)は、人間の嗜好を予測するために訓練された他のLLMによって日常的に評価される。 これまでの研究では、候補LLMが生成した回答をポストホックで編集して、審査員LLMが割り当てたスコアを最大化できることが示されている。 我々は、異なるアプローチを採用し、判定LLMによって提供される信号を、逆向きにモデルをチューニングする報酬として利用する。
  論文  参考訳（メタデータ） (2025-05-21T17:48:16Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。