論文の概要: Disagreement-Regularized Imitation Learning for Image-Based Continuous Control with Gaussian and Beta Policies

• arxiv url: http://arxiv.org/abs/2609.38407v1
• Date: Tue, 29 Sep 2026 19:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.622208
• Title: Disagreement-Regularized Imitation Learning for Image-Based Continuous Control with Gaussian and Beta Policies
• Title（参考訳）: ガウス法とベータ法を併用したイメージベース連続制御のための分類規則化模擬学習
• Abstract要約: 本研究は,クローン化政策間の不一致を強化学習報酬に変換し,画像に基づく継続的制御を改善することができるかを評価する。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose: Behavior cloning can accumulate errors when a learned controller visits states outside the demonstrated distribution. This study evaluates whether Disagreement-Regularized Imitation Learning (DRIL), which converts disagreement among cloned policies into a reinforcement-learning reward, improves image-based continuous control. Methods: A controlled CarRacing study combines Gaussian and Beta learner policies, demonstrations from either a clipped Gaussian expert or an intrinsically bounded Beta expert, one or 20 trajectories, deterministic and stochastic evaluation, and three retained stages: behavior cloning, the highest 10-episode training-score checkpoint, and the final DRIL checkpoint. The disagreement ensemble contains five Gaussian policies in every variant. Each retained policy is evaluated over 100 procedurally generated episodes. Results: Score-selected DRIL produced its largest gains in the few-demonstration setting, improving over the strongest behavior-cloning mean by 61% with clipped-action demonstrations and by 112% with bounded-action demonstrations. With 20 trajectories, the advantage of DRIL narrowed; in the bounded-action regime, Beta behavior cloning remained about 7% above the best DRIL checkpoint. The experiments also show that the informativeness of the disagreement reward changes with the learner representation and training stage. Conclusion: DRIL can substantially improve few-demonstration visual continuous control, while bounded Beta policies provide strong behavior-cloning performance when more demonstrations are available. The results highlight the joint importance of learner support,ensemble response, and checkpoint selection.
• Abstract（参考訳）: 目的: 学習したコントローラがデモされた分布の外側の状態を訪問すると、振る舞いのクローンがエラーを蓄積する。 本研究は,クローン化政策間の不一致を強化学習報酬に変換し,イメージベース連続制御を改善した「診断規則化模倣学習(DRIL)」の評価を行った。 方法: コントロールされたCarRacing研究は、ガウシアンとベータの学習者ポリシー、クリップされたガウシアンの専門家または本質的に境界づけられたベータエキスパートからのデモ、1ないし20の軌道、決定的および確率的評価、そして3つの維持段階(行動クローニング、最高10回トレーニングスコアチェックポイント、最終DRILチェックポイント)を組み合わせる。 不一致のアンサンブルは、すべての変種に5つのガウスのポリシーを含んでいる。 それぞれのポリシーは、手続き的に生成された100以上のエピソードで評価される。 結果:Score-selected DRILは,数段の実証実験で最大値の61%,境界値の112%を達成し,最強の行動閉鎖平均値を上回った。 20の軌道でDRILの利点は狭まり、バウンド・アクション・システムではベータ動作のクローンは最高のDRILチェックポイントより約7%上であった。 また,学習者表現と学習段階とともに,不一致報酬の有意性が変化することを示した。 結論: DRILはデモの少ない視覚的連続制御を大幅に改善する一方で、バウンドベータポリシは、より多くのデモが利用可能になった場合に、強力な動作停止パフォーマンスを提供する。 その結果,学習者支援,アンサンブル応答,チェックポイント選択の両立の重要性が浮き彫りになった。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Measured Sliders: Learning Continuous Controls from Differentiable Image Measurements [1.452875650827562]
  連続スライダは、変更が予測可能なイメージ変更を生成する場合にのみ有用である。 我々は,閉じた形状の微分可能な画像計測によって連続的な制御を定義するフレームワークであるMessageed Slidersを提案する。
  論文  参考訳（メタデータ） (2026-09-04T15:01:28Z)
• Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning [0.0]
  インターベンションバイアス(英語: Intervention bias)は、大規模言語モデル教育アドバイザリーエージェントの以前には確立されていなかった障害モードである。 教師付き政策学習は、このバイアスを排除していることを示す。 LLM-as-judge score is blind to intervention bias, rewarding fluent over-prescription rather than decision quality。
  論文  参考訳（メタデータ） (2026-06-28T08:58:17Z)
• Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift [15.576538384279708]
  振る舞いのクローン化は、トレーニングとテスト環境が同じダイナミクスを共有するときに、強力な模倣学習を保証する。 多くのデプロイメント環境では、テスト環境の遷移はトレーニングとは異なる。 これは選択的な模倣の研究を動機付けており、学習者は確実に行動できないときに停止することを選択できる。
  論文  参考訳（メタデータ） (2026-05-09T21:48:04Z)
• Post-Training and Test-Time Scaling of Generative Agent Behavior Models for Interactive Autonomous Driving [3.8612647047433217]
  グループ相対行動最適化は、行動リアリズムを維持しながら安全性を40%以上改善する。 Warm-Kは、動き選択における一貫性と多様性のバランスをとる温かいスタートのTop-Kサンプリング戦略である。
  論文  参考訳（メタデータ） (2025-12-15T12:18:50Z)
• Variational Supervised Contrastive Learning [50.79938854370321]
  本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。 VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
  論文  参考訳（メタデータ） (2025-06-09T04:19:12Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。