論文の概要: Adversarial Imitation Learning with General Function Approximation: Theoretical Analysis and Practical Algorithms
- arxiv url: http://arxiv.org/abs/2605.01778v1
- Date: Sun, 03 May 2026 08:31:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.935345
- Title: Adversarial Imitation Learning with General Function Approximation: Theoretical Analysis and Practical Algorithms
- Title（参考訳）: 一般関数近似を用いた対数模倣学習:理論的解析と実践的アルゴリズム
- Abstract要約: 我々は最適化ベースのAIL(OPT-AIL)と呼ばれる新しいフレームワークを紹介する。
OPT-AILは報酬学習のためのオンライン最適化と政策学習のための最適化を行う。
我々の知る限り、OPT-AILは一般関数近似における最初の証明可能なAIL法である。
- 参考スコア（独自算出の注目度）: 20.16205018738796
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Adversarial imitation learning (AIL), a prominent approach in imitation learning, has achieved significant practical success powered by neural network approximation. However, existing theoretical analyses of AIL are primarily confined to simplified settings, such as tabular and linear function approximation, and involve complex algorithmic designs that impede practical implementation. This creates a substantial gap between theory and practice. This paper bridges this gap by exploring the theoretical underpinnings of online AIL with general function approximation. We introduce a novel framework called optimization-based AIL (OPT-AIL), which performs online optimization for reward learning coupled with optimism-regularized optimization for policy learning. Within this framework, we develop two concrete methods: model-free OPT-AIL and model-based OPT-AIL. Our theoretical analysis demonstrates that both variants achieve polynomial expert sample complexity and interaction complexity for learning near-expert policies. To the best of our knowledge, they represent the first provably efficient AIL methods under general function approximation. From a practical standpoint, OPT-AIL requires only the approximate optimization of two objectives, thereby facilitating practical implementation. Empirical studies demonstrate that OPT-AIL outperforms previous state-of-the-art deep AIL methods across several challenging tasks.
- Abstract（参考訳）: 逆模倣学習(Adversarial mimicion learning, AIL)は、ニューラルネットワークの近似による実践的成功である。
しかし、既存の AIL の理論解析は主に表や線形関数近似のような単純化された設定に限られており、実用的な実装を妨げる複雑なアルゴリズム設計を含んでいる。
これは理論と実践の間に大きなギャップを生じさせる。
本稿では,一般関数近似によるオンラインAILの理論的基盤を探ることで,このギャップを埋める。
本稿では、報酬学習のためのオンライン最適化とポリシー学習のための最適化を併用した、最適化ベースのAIL(OPT-AIL)という新しいフレームワークを紹介する。
本フレームワークでは,モデルフリー OPT-AIL とモデルベース OPT-AIL の2つの具体的な手法を開発した。
理論的解析により, 両変種は, ほぼ専門的な政策を学習するために, 多項式エキスパート標本の複雑さと相互作用の複雑さを達成できることが示されている。
我々の知る限りでは、これらの手法は一般関数近似における最初の証明可能な効率的な AIL 手法である。
実用の観点からは、OPT-AILは2つの目的の近似最適化しか必要とせず、実用的な実装を容易にする。
実証的研究により、OPT-AILは、過去の最先端の深層AIL手法よりも、いくつかの課題において優れていたことが示されている。
関連論文リスト
- Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。
大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。
深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。
我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
論文 参考訳（メタデータ） (2026-04-14T17:01:36Z) - New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。
PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。
ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-04-10T22:39:38Z) - Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳（メタデータ） (2025-12-03T13:16:35Z) - Provably and Practically Efficient Adversarial Imitation Learning with General Function Approximation [13.228240527941619]
最適化ベースAIL(OPT-AIL)と呼ばれる新しい手法を提案する。
OPT-AILは一般関数近似を用いた最初の証明可能なAIL法である。
実証的研究により、OPT-AILはいくつかの課題において、従来の最先端の深層AIL法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-01T14:17:38Z) - Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation [4.239829789304117]
最適学習の設定にはPAC-ベイズ理論を用いる。
証明可能な一般化保証付き最適化アルゴリズムを学習する最初のフレームワークを提示する。
学習アルゴリズムは、(決定論的)最悪のケース分析から得られた関連アルゴリズムを確実に上回ります。
論文 参考訳（メタデータ） (2024-04-04T08:24:57Z) - Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。
まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。
有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-18T18:58:42Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Hierarchical Optimization-Derived Learning [58.69200830655009]
我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2023-02-11T03:35:13Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Efficient Performance Bounds for Primal-Dual Reinforcement Learning from
Demonstrations [1.0609815608017066]
本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。
既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。
ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
論文 参考訳（メタデータ） (2021-12-28T05:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。