論文の概要: Amortized Off-Policy Evaluation for LLMs

• arxiv url: http://arxiv.org/abs/2610.10848v1
• Date: Wed, 07 Oct 2026 19:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.646607
• Title: Amortized Off-Policy Evaluation for LLMs
• Title（参考訳）: LLMのアモルティズドオフポリシィ評価
• Abstract要約: そこで本稿では,OPEを文脈帯域幅の分布に分散した事前データ対応ネットワークを提案する。 HelpSteer2とUltraFeedbackのQwen、Llama、Gemmaのポリシーでは、PFN-OPEは最高のベースラインの2～9.3倍のエラーを達成している。
• 参考スコア（独自算出の注目度）: 7.723985431438522
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate evaluation is central to selecting which LLM to deploy, yet testing a candidate on live traffic exposes real users to an unvetted model. Teams therefore evaluate candidates offline, on data produced by already-deployed models. This is off-policy evaluation (OPE), and it faces two distribution shifts: as a model is updated in post-training, its responses diverge from the logged ones (policy shift), and the reward definition under which it is judged changes with business requirements (reward shift). Classical OPE methods are ill-suited to this continual-deployment setting because they are defined per task and require fitting from scratch on every new logged dataset or reward definition. To address this, we propose PFN-OPE, a prior-data fitted network that amortizes OPE across a distribution of contextual-bandit tasks. We pretrain it once on tasks constructed from a pool of LLM responses scored by several reward functions, in which both shifts occur. At test-time it maps a logged dataset and one sampled target response per prompt to a value estimate in a single forward pass, with no per-task fitting. On HelpSteer2 and UltraFeedback with Qwen, Llama, and Gemma policies, PFN-OPE achieves 2.0 to 9.3 times lower error than the best baselines across all tested configurations in the reward-shifted settings.
• Abstract（参考訳）: 正確な評価は、どのLLMをデプロイするかを選択することの中心であるが、ライブトラフィックで候補をテストすると、実際のユーザを未検証のモデルに公開する。 そのためチームは、すでにデプロイ済みのモデルによって生成されたデータに基づいて、候補者をオフラインで評価する。 モデルがポストトレーニングで更新されると、その応答はログ化されたもの(ポリシーシフト)から分岐し、ビジネス要件(リワードシフト)で変化を判断される報酬定義となる。 古典的なOPEメソッドは、タスク毎に定義され、新しいログデータセットや報酬定義のすべてにスクラッチから適合する必要があるため、この継続的デプロイ設定に不適である。 そこで本稿では,PFN-OPE(PFN-OPE)を提案する。 我々は、複数の報酬関数によって得られたLLM応答のプールから構築されたタスクに対して、両方のシフトが発生するタスクを1度事前訓練する。 テスト時には、ログ化されたデータセットと、プロンプト毎に1つのサンプルされたターゲット応答を、1つの前方パスの値推定にマッピングする。 HelpSteer2とUltraFeedbackのQwen、Llama、Gemmaのポリシーでは、PFN-OPEは、報酬シフトされた設定でテストされたすべての設定において、最高のベースラインよりも2.0から9.3のエラーを達成している。

関連論文リスト

• Prior or Feedback? What an LLM Uses When Adapting Neural Operators [0.899394082708711]
  本稿では,大規模言語モデル (LLM) が限定的な試行予算の下で微調整構成を選択するニューラル演算子適応の課題について検討する。 LLMはPDEファミリー内およびPDEファミリー間での転送において、ランダム探索やベイズ最適化よりも低いホールドアウトテスト nRMSE を達成する。 LLMの判断レベル動作が与えられたタスクに応答し、結果が観察されることを確立し、タスク依存の先行と、実験的なフィードバックに対する敏感さを組み合わせていることを示す。
  論文  参考訳（メタデータ） (2026-10-08T17:06:23Z)
• OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models [4.929031586355841]
  大規模言語モデル(LLM)の評価は,開発やデプロイメントには不可欠だが,コストがかかり,リスクが高く,オンラインでの安全な実行が難しいことが多い。 我々は、最適輸送に基づくロバストオフポリティ評価(OTROPE)を提案する。 OTROPEは、ラベル付き行動ポリティサンプルとラベル付き目標ポリティサンプルを整列させるために、最適な輸送を通して意味空間における分布補正を行う。
  論文  参考訳（メタデータ） (2026-09-28T20:54:55Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
  主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。 我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
  論文  参考訳（メタデータ） (2026-08-20T06:26:03Z)
• DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs [71.85279836937578]
  我々は、注意深く設計されたエージェントを用いたLVLMにおける社会バイアスの奥行き探索のための適応的フレームワークDeepBiasを紹介する。 私たちは、私たちのフレームワークを使ってDeepBiasBenchという名のベンチマークを構築します。5つの異なる最先端のLVLMをアンカーとして使用することで、このベンチマークはアーキテクチャ間で共有される脆弱性をキャプチャします。
  論文  参考訳（メタデータ） (2026-07-13T08:19:09Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks [40.91931801667421]
  本稿では, ベイズ最適化を用いたデータ選択手法として, 影響関数をインターリーブし, 特定の未確認評価タスクからのフィードバックによるデータ混合を最適化する, グローバル・ローカルなアルゴリズムを提案する。 DUETの累積的後悔を解析することにより、DUETはタスクに関するデータ知識がなくても、見えないタスクに対して最適なトレーニングデータ混合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-01T01:52:32Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。