論文の概要: Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

• arxiv url: http://arxiv.org/abs/2607.07859v1
• Date: Wed, 08 Jul 2026 18:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.323073
• Title: Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
• Title（参考訳）: フィードバック操作規則化:模倣学習のためのオフラインエージェントアライメントの実現
• Abstract要約: 強化学習(Reinforcement Learning、RL)の研究は、エージェントが人間の価値観に忠実な行動を学ぶように、アライメントに焦点を移している。 提案手法は,評価フィードバックを補正信号として活用し,模倣学習ポリシーの整合性を改善するアルゴリズム非依存の手法である。 我々は、安全体育館環境をアライメント評価のための原則的テストベッドに適合させ、改良された適性を示し、様々な模倣学習アルゴリズムで最大98%の誤調整を減らした。
• 参考スコア（独自算出の注目度）: 1.6038757247653772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) research has increasingly shifted focus towards alignment, ensuring agents learn behaviors adhering to human values. While human demonstrations and feedback have proven crucial for alignment, existing approaches predominantly combine these signals using multi-stage pipelines designed for the contextual bandit framing of language generation. Yet little work explores how these complementary inputs can serve as a richer, interconnected signal for single-stage offline training in fully sequential decision-making environments. We propose Feedback Manipulation Regularization (FMR), an algorithm-agnostic method that harnesses evaluative feedback as a corrective signal to improve the alignment of imitation learning policies. We adapt Safety Gymnasium environments to be a principled testbed for alignment evaluation, demonstrating improved aptitude and up to a 98\% reduction in misalignment across a range of imitation learning algorithms. FMR remains robust in limited data regimes, even when learning from scarce aligned and uninformative noisy demonstrations.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)の研究は、エージェントが人間の価値観に忠実な行動を学ぶように、アライメントに焦点を移している。 人間のデモンストレーションやフィードバックはアライメントに不可欠であることが証明されているが、既存のアプローチは主に、言語生成の文脈的帯域幅フレーミング用に設計された多段階パイプラインを使用してこれらの信号を組み合わせている。 しかし、これらの補完的な入力が、完全なシーケンシャルな意思決定環境において、単一ステージのオフライントレーニングのためのよりリッチで相互接続された信号として機能する方法については、ほとんど研究されていない。 提案手法は,評価フィードバックを補正信号として活用し,模倣学習ポリシーの整合性を改善するアルゴリズム非依存の手法である。 我々は,安全体育館環境をアライメント評価のための原則的テストベッドに適合させ,改良された適性を示し,模倣学習アルゴリズムの範囲で最大98%の誤調整を減少させることを示した。 FMRは、少ない整列と非形式的な雑音のデモから学ぶ場合でも、限られたデータレシエーションにおいて堅牢である。

関連論文リスト

• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• SEAL: Synergistic Co-Evolution of Agents and Learning Environments [11.720414165425256]
  大きな言語モデル(LLM)エージェントは、インタラクションによってますます改善されている。 ほとんどの自己進化的手法は、政策または学習環境を独立に適応させる。 対話型ツール利用エージェントのためのクローズドループ共進化フレームワークSEALを提案する。
  論文  参考訳（メタデータ） (2026-05-23T06:41:31Z)
• Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards [8.109014000578766]
  ASR-TRAは、因果介入に触発された新しいテストタイム強化適応フレームワークである。 提案手法は,既存のTTAベースラインよりも低レイテンシを維持しながら高い精度を実現する。 我々のアプローチは、現実の状況に挑戦する上で、ASRシステムをデプロイするための実用的で堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-03-05T14:43:15Z)
• Reinforcement Learning via Implicit Imitation Guidance [49.88208134736617]
  自然なアプローチは、訓練中の正規化や参照ポリシーの取得など、模倣学習の目的を取り入れることである。 提案手法では,条件に付加されたノイズによる探索を導出するための先行データのみを用いて,明示的な行動クローニング制約の必要性を回避することを提案する。 提案手法は、7つの模擬連続制御タスクにまたがるオフライン手法による事前強化学習よりも最大2～3倍向上する。
  論文  参考訳（メタデータ） (2025-06-09T07:32:52Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Learning Sparsity-Promoting Regularizers using Bilevel Optimization [9.18465987536469]
  本稿では,信号や画像の識別のための疎結合型正規化器の教師あり学習法を提案する。 構造化された1D信号と自然画像を用いて実験したところ,提案手法はよく知られた正規化器よりも優れた演算子を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T20:50:02Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。