論文の概要: Scalable Causal Imitation Learning

• arxiv url: http://arxiv.org/abs/2607.17003v1
• Date: Sat, 18 Jul 2026 23:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.335152
• Title: Scalable Causal Imitation Learning
• Title（参考訳）: スケーラブルな因果模倣学習
• Abstract要約: 模倣学習は、専門家のデモンストレーションを使用して、潜在報酬信号で未知の環境でポリシーを学習することを可能にする。 模擬者の観察と専門家の観察が一致せず、観測されていない共同設立者が専門家のデモンストレーションに出席するのに苦労する。 本稿では,2つの因果模倣学習アルゴリズムであるCausal Soft Q Imitation Learning (SQIL)とCausal Inverse Soft-Q Learning (IQ-Learn)を紹介する。
• 参考スコア（独自算出の注目度）: 48.93769483870838
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Imitation learning enables learning a policy in an unknown environment with a latent reward signal using expert demonstrations, but it struggles when the imitator's and expert's observations are mismatched and unobserved confounders are present in expert demonstrations. By identifying appropriate adjustment sets via the sequential $π$-backdoor criterion, causal imitation learning (CIL) provides a framework for approximating the expert's policy from confounded data. However, existing CIL methods, Causal Behavioral Cloning (Causal BC) and Causal Generative Adversarial Imitation Learning (Causal GAIL), are designed for short-horizon, low-dimensional settings. When applied to continuous control tasks with long horizons and high-dimensional state-action spaces, these methods exhibit poor performance: Causal BC suffers from compounding errors, Causal GAIL is unstable and sample-inefficient, and sequential $π$-backdoor adjustment becomes impractical. We introduce Causal Soft Q Imitation Learning (SQIL) and Causal Inverse soft-Q Learning (IQ-Learn), two off-policy causal imitation learning algorithms that combine the causal adjustment framework with state-of-the-art inverse reinforcement learning objectives. Both algorithms operate on causally-adjusted state representations produced by an efficient approximation of the sequential $π$-backdoor criterion, exploiting the causal structure of continuous control environments to reduce the full-horizon adjustment to a fixed-size sliding window. We evaluate all methods in a suite of confounded environments and find that Causal SQIL and Causal IQ-Learn substantially outperform prior CIL algorithms on long-horizon tasks, sometimes surpassing the expert, whereas all causally unaware imitation methods fail to learn meaningful behavior.
• Abstract（参考訳）: 模擬学習は、専門家のデモンストレーションを用いて、潜伏した報酬信号で未知の環境でポリシーを学ぶことができるが、模倣者や専門家の観察がミスマッチし、未観測の共同設立者が専門家のデモに出席する場合に苦労する。 シーケンシャルな$π$-バックドア基準によって適切な調整セットを識別することにより、因果模倣学習(CIL)は、専門家のポリシーを確立されたデータから近似するためのフレームワークを提供する。 しかし、既存のCIL手法であるCausal Behavioral Cloning(Causal BC)とCausal Generative Adversarial Imitation Learning(Causal GAIL)は、短水平低次元設定のために設計されている。 Causal BCは複雑なエラーに悩まされており、Causal GAILは不安定でサンプル非効率であり、連続的な$π$-バックドア調整は実用的ではない。 本稿では、因果調整フレームワークと最先端の逆強化学習目標を組み合わせた2つの非政治因果模倣学習アルゴリズム、Causal Soft Q Imitation Learning (SQIL)とCausal Inverse Soft-Q Learning (IQ-Learn)を紹介する。 両アルゴリズムは、逐次$π$-バックドア基準の効率的な近似によって生成される因果調整状態表現を演算し、連続制御環境の因果構造を利用して、固定サイズのスライディングウインドウへの全水平調整を低減する。 提案手法は,一組の集合環境におけるすべての手法を評価し,因果SQIL と Causal IQ-Learn が長い水平タスクにおいて,CIL のアルゴリズムよりもかなり優れており,時には専門家を超越することがあるのに対して,因果的無意識な模倣手法は有意義な振る舞いを学ばない。

関連論文リスト

• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Instance-Dependent Continuous-Time Reinforcement Learning via Maximum Likelihood Estimation [27.232790785138427]
  連続時間強化学習(CTRL)は、動的環境におけるシーケンシャルな意思決定のための自然な枠組みを提供する。 経験的成功の度合いは高まっているが、様々なレベルの問題に適応する能力はいまだに理解されていない。 本研究では,最大推定値に基づいて構築されたモデルに基づく簡易アルゴリズムのインスタンス依存挙動について検討する。
  論文  参考訳（メタデータ） (2025-08-04T06:25:45Z)
• Data-Driven Exploration for a Class of Continuous-Time Indefinite Linear--Quadratic Reinforcement Learning Problems [6.859965454961918]
  本研究では,LQ制御問題に対する強化学習について検討する。 本稿では, モデルフリーでデータ駆動型探索機構を提案し, 批判者によるエントロピー正規化を適応的に調整する。 本手法は,LQ問題のクラスにおいて,最もよく知られたモデルフリーな結果と一致するサブ線形後悔境界を実現する。
  論文  参考訳（メタデータ） (2025-07-01T01:09:06Z)
• The Pitfalls of Imitation Learning when Actions are Continuous [33.44344966171865]
  本研究では,連続的な状態・動作制御システムにおいて,専門家のデモレータを模倣する問題について検討する。 指数的安定性と呼ばれる制御理論的性質を満たす力学であっても、任意の滑らかな決定論的模倣ポリシーは必ず誤りを被ることを示す。
  論文  参考訳（メタデータ） (2025-03-12T18:11:37Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。