論文の概要: Online Control-Informed Learning

• arxiv url: http://arxiv.org/abs/2410.03924v1
• Date: Fri, 4 Oct 2024 21:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 15:21:16.148651
• Title: Online Control-Informed Learning
• Title（参考訳）: オンライン制御インフォームドラーニング
• Authors: Zihao Liang, Tianyu Zhou, Zehui Lu, Shaoshuai Mou,
• Abstract要約: 本稿では,リアルタイムに学習・制御タスクの幅広いクラスを解決するためのオンライン制御情報学習フレームワークを提案する。 任意のロボットを調整可能な最適制御系として考慮し,拡張カルマンフィルタ(EKF)に基づくオンラインパラメータ推定器を提案する。 提案手法は,データ中の雑音を効果的に管理することにより,学習の堅牢性も向上する。
• 参考スコア（独自算出の注目度）: 4.907545537403502
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes an Online Control-Informed Learning (OCIL) framework, which synthesizes the well-established control theories to solve a broad class of learning and control tasks in real time. This novel integration effectively handles practical issues in machine learning such as noisy measurement data, online learning, and data efficiency. By considering any robot as a tunable optimal control system, we propose an online parameter estimator based on extended Kalman filter (EKF) to incrementally tune the system in real time, enabling it to complete designated learning or control tasks. The proposed method also improves robustness in learning by effectively managing noise in the data. Theoretical analysis is provided to demonstrate the convergence and regret of OCIL. Three learning modes of OCIL, i.e. Online Imitation Learning, Online System Identification, and Policy Tuning On-the-fly, are investigated via experiments, which validate their effectiveness.
• Abstract（参考訳）: 本稿では,オンライン制御・インフォームド・ラーニング(OCIL)フレームワークを提案する。 この新たな統合は、ノイズ測定データやオンライン学習、データ効率といった機械学習の実践的な問題に効果的に対処する。 任意のロボットを調整可能な最適制御系として考慮し,拡張カルマンフィルタ(EKF)に基づくオンラインパラメータ推定器を提案する。 提案手法は,データ中の雑音を効果的に管理することにより,学習の堅牢性も向上する。 OCILの収束と後悔を示す理論的解析が提供される。 オンライン模倣学習,オンラインシステム同定,ポリシチューニングオンザフライの3つの学習モードを実験により検討し,その有効性を検証した。

関連論文リスト

• Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning [27.73555826776087]
  強化学習(RL)は、データから純粋に非自明なロボット制御法を学習することを可能にする。 本稿では,大規模並列化シミュレーションに基づいてRLでキュリキュラを自動構築するアルゴリズムを提案する。 非線形トラッキングタスクに対する状態推定と制御を共同で学習するカリキュラムRLの可能性を示す。
  論文  参考訳（メタデータ） (2023-09-25T12:48:47Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• Efficient Online Learning with Memory via Frank-Wolfe Optimization: Algorithms with Bounded Dynamic Regret and Applications to Control [15.588080817106563]
  動的後悔を最小限に抑えるメモリ付きプロジェクションフリーなメタベース学習アルゴリズムを提案する。 私たちは、自律的なエージェントが時間によって変化する環境に適応する必要がある人工知能アプリケーションによって動機付けられています。
  論文  参考訳（メタデータ） (2023-01-02T01:12:29Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Fault-Tolerant Control of Degrading Systems with On-Policy Reinforcement Learning [1.8799681615947088]
  耐障害性システムに対する適応型強化学習制御手法を提案する。 オンラインとオフラインの学習は、探索とサンプル効率を改善するために組み合わせられる。 本手法の有効性を実証するため,航空機用燃料輸送システムの実験を行った。
  論文  参考訳（メタデータ） (2020-08-10T20:42:59Z)
• Anticipating the Long-Term Effect of Online Learning in Control [75.6527644813815]
  AntLerは、学習を予想する学習ベースの制御法則の設計アルゴリズムである。 AntLer は確率 1 と任意に最適な解を近似することを示す。
  論文  参考訳（メタデータ） (2020-07-24T07:00:14Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Reinforcement Learning Control of Robotic Knee with Human in the Loop by Flexible Policy Iteration [17.365135977882215]
  本研究は,ポリシーアルゴリズムに革新的な特徴を導入することで,重要な空白を埋める。 本稿では,近似値関数の収束,解の最適性,システムの安定性などのシステムレベルの性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T09:09:48Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。