論文の概要: Evaluation-Conditioned Training: Teaching Models to Generalize to Stronger Oversight Regimes
- arxiv url: http://arxiv.org/abs/2608.10209v1
- Date: Mon, 10 Aug 2026 20:22:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.807935
- Title: Evaluation-Conditioned Training: Teaching Models to Generalize to Stronger Oversight Regimes
- Title（参考訳）: 評価記述型トレーニング:より強固な監視レジームに一般化するためのモデル
- Abstract要約: 現在のトレーニング後の方法の鍵となる制限は、人間のアノテータと自動報酬関数が、私たちが提供したいフィードバックを忠実に捉えることができないことである。
我々は、自然言語を用いて、フィードバックの忠実度を各トレーニングサンプルに条件付けする後トレーニングフレームワークであるAudiment-Conditioned Training (ECT)を紹介した。
ECTは不完全なフィードバック下でのパフォーマンス向上を目的としており、SFTやPPOといった既存のアルゴリズムのアドオンとして機能する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feedback signals used to train Large Language Models (LLMs) are the primary driver of their behavior and our main lever for instilling alignment with human values and objectives. However, a key limitation of current post-training methods is the inability of human annotators and automated reward functions to faithfully capture the feedback we would like to give. We introduce Evaluation-Conditioned Training (ECT), a post-training framework that uses natural language to condition each training sample on the fidelity of the feedback we provide and then elicits the desired behavior by conditioning the LLM on a high-fidelity monitor in deployment. ECT is aimed at improving performance under imperfect feedback and works as an add-on to existing algorithms such as SFT and PPO. We first provide a conceptual framework for ECT and discuss its potential to address persistent sources of reward mis-specification. Then we motivate ECT in the context of the eliciting latent knowledge (ELK) problem. Finally, we evaluate ECT on two proof-of-concept experiments: increasing even-handedness in news article generation and reducing sycophancy on an arithmetic task. In each setting, we utilize imperfect feedback, rewarding bias and agreement with the user, respectively. In both settings, ECT improves the targeted behavior relative to direct training.
- Abstract（参考訳）: 大規模言語モデル(LLM)の訓練に使用されるフィードバック信号は,その行動の第一の要因であり,人間の価値観や目的との整合性を高めるための主要なレバーである。
しかし、現在のポストトレーニング手法の重要な制限は、人間のアノテータと自動報酬関数が、私たちが提供したいフィードバックを忠実に捉えることができないことである。
提案手法は,提案するフィードバックの忠実度について,自然言語を用いて各トレーニングサンプルを条件付けし,LLMを高忠実度モニタに条件付けして所望の振る舞いを付与する学習後学習フレームワークである。
ECTは不完全なフィードバック下でのパフォーマンス向上を目的としており、SFTやPPOといった既存のアルゴリズムのアドオンとして機能する。
まず、ECTの概念的枠組みを提供し、報酬の誤特定の永続的な源泉に対処する可能性について論じる。
そこで我々は,ELK問題の文脈でECTを動機づける。
最後に,2つの概念実証実験におけるECTの評価を行った。
各設定において,不完全なフィードバック,偏見の報奨,ユーザとの合意をそれぞれ活用する。
どちらの設定でも、ECTはダイレクトトレーニングと比較してターゲットの動作を改善する。
関連論文リスト
- From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。
現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。
MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
論文 参考訳（メタデータ） (2026-02-13T12:56:31Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - Reinforcement Learning from Implicit Neural Feedback for Human-Aligned Robot Control [0.0]
非侵襲脳波(EEG)信号を利用した暗黙のフィードバック(RLIHF)フレームワークによる新しい強化学習を提案する。
我々は,Kinova Gen2ロボットアームを用いて,MuJoCo物理エンジン上に構築したシミュレーション環境におけるアプローチを評価した。
結果は、デコードされた脳波フィードバックで訓練されたエージェントが、密集した手作業による報酬で訓練されたエージェントに匹敵するパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2025-11-18T22:50:32Z) - FOSSIL: Harnessing Feedback on Suboptimal Samples for Data-Efficient Generalisation with Imitation Learning for Embodied Vision-and-Language Tasks [45.65159253753118]
この研究は、模倣学習で訓練されたエージェントが最適と準最適の両方から堅牢な表現を学習する方法を探求する。
入力シーケンスの一部として言語フィードバックの埋め込みをTransformerベースのポリシーに組み込む。
独自のBabyAI-XGen環境における視覚・言語タスクの具体化について,本手法を検証した。
論文 参考訳（メタデータ） (2025-10-13T11:55:21Z) - OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。
我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。
OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
論文 参考訳（メタデータ） (2025-10-12T13:46:28Z) - Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。
学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
論文 参考訳（メタデータ） (2025-10-02T09:55:26Z) - SOI is the Root of All Evil: Quantifying and Breaking Similar Object Interference in Single Object Tracking [25.076012214989433]
類似オブジェクト干渉(SOI)の最初の体系的研究と定量化について述べる。
干渉源の除去は、全てのSOTAトラッカーで大幅な性能改善(AUCは4.35まで向上)をもたらす。
SOIBenchは,SOI課題を対象とする最初の意味認知指導ベンチマークである。
論文 参考訳（メタデータ） (2025-08-13T06:12:43Z) - Interpretable Reward Modeling with Active Concept Bottlenecks [54.00085739303773]
本稿では,解釈可能な嗜好学習を可能にする報酬モデリングフレームワークであるConcept Bottleneck Reward Models (CB-RM)を紹介する。
不透明報酬関数に依存する標準的なRLHF法とは異なり、CB-RMは報酬予測を人間の解釈可能な概念に分解する。
我々は,最も情報性の高い概念ラベルを動的に取得する能動的学習戦略を定式化する。
論文 参考訳（メタデータ） (2025-07-07T06:26:04Z) - An Active Inference perspective on Neurofeedback Training [0.6008132390640294]
Neurofeedback Training (NFT)は、リアルタイムフィードバックを通じて脳活動の自己制御を教えることを目的としている。
NFTは、非常に可変な結果と、十分に理解されていないメカニズムに悩まされ、その検証を妨げている。
NFT閉ループの形式的計算モデルを提案する。
論文 参考訳（メタデータ） (2025-05-06T08:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。