論文の概要: Learning High-Risk High-Precision Motion Control

• arxiv url: http://arxiv.org/abs/2609.34851v2
• Date: Wed, 30 Sep 2026 10:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.038937
• Title: Learning High-Risk High-Precision Motion Control
• Title（参考訳）: 高精度運動制御の学習
• Abstract要約: State-Conditioned Shooting (SCOOT)は、アドバンスト重み付き回帰(AWR)に基づく新しいDRLアルゴリズムである。 我々は,行動が不可逆的な結果をもたらすような,リスクの高い高精度な動作制御問題に焦点をあてる。 身体をベースとしたビリヤードショットの学習における特徴量の性能を示す。
• 参考スコア（独自算出の注目度）: 8.61784662359296
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep reinforcement learning (DRL) algorithms for movement control are typically evaluated and benchmarked on sequential decision tasks where imprecise actions may be corrected with later actions, thus allowing high returns with noisy actions. In contrast, we focus on an under-researched class of high-risk, high-precision motion control problems where actions carry irreversible outcomes, driving sharp peaks and ridges to plague the state-action reward landscape. Using computational pool as a representative example of such problems, we propose and evaluate State-Conditioned Shooting (SCOOT), a novel DRL algorithm that builds on advantage-weighted regression (AWR) with three key modifications: 1) Performing policy optimization only using elite samples, allowing the policy to better latch on to the rare high-reward action samples; 2) Utilizing a mixture-of-experts (MoE) policy, to allow switching between reward landscape modes depending on the state; 3) Adding a distance regularization term and a learning curriculum to encourage exploring diverse strategies before adapting to the most advantageous samples. We showcase our features' performance in learning physically-based billiard shots demonstrating high action precision and discovering multiple shot strategies for a given ball configuration.
• Abstract（参考訳）: 動作制御のための深部強化学習(DRL)アルゴリズムは、通常、後続の動作で不正確な動作が修正されるようなシーケンシャルな決定タスクに基づいて評価され、ベンチマークされる。 対照的に、我々は、行動が不可逆的な結果を持ち、鋭いピークと尾根を駆動し、国家行動報酬の景観を悩ませる、リスクの高い、高精度な動き制御問題に焦点をあてる。 このような問題の代表的な例として、計算プールを用いて、3つの重要な修正を加えて利点重み付け回帰(AWR)に基づく新しいDRLアルゴリズムであるSCOOT(State-Conditioned Shooting)を提案し、評価する。 1 エリートサンプルのみを用いて政策最適化を行い、希少なハイリワード行動サンプルにより良いラッチを施すことができる。 2) 国家に応じて報酬ランドスケープモードの切り替えを可能にするため、ME(mix-of-experts)ポリシーを利用する。 3)最も有利なサンプルに適応する前に,距離正規化用語と学習カリキュラムを付加し,多様な戦略の探索を奨励した。 我々は,ボール構成に対する高アクション精度のビリヤードショットを学習し,複数のショット戦略を発見した。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• ProSpec RL: Plan Ahead, then Execute [7.028937493640123]
  将来的なnストリーム軌道を想像して,高値,低リスクの最適決定を行うProspective (ProSpec) RL法を提案する。 ProSpecは、現在の状態と一連のサンプルアクションに基づいて将来の状態を予測するために、ダイナミックモデルを使用している。 提案手法の有効性をDMControlベンチマークで検証し,本手法による性能改善を実現した。
  論文  参考訳（メタデータ） (2024-07-31T06:04:55Z)
• Extremum-Seeking Action Selection for Accelerating Policy Optimization [18.162794442835413]
  連続空間の制御のための強化学習は、典型的にはガウス分布のような高エントロピーポリシーを用いて局所的な探索と性能の最適化を推定する。 本稿では,ESC(Extremum-Seeking Control)に基づく適応制御を付加することで,モデルフリーなRL設定におけるアクション選択を改善することを提案する。 本手法は, 各種制御学習環境において, 学習効率を向上させるために, 標準方針最適化において容易に追加することができる。
  論文  参考訳（メタデータ） (2024-04-02T02:39:17Z)
• Action Pick-up in Dynamic Action Space Reinforcement Learning [6.15205100319133]
  我々は,新しいアクションセットからパフォーマンスを高める可能性が最も高い価値あるアクションを自律的に選択するための,インテリジェントなアクションピックアップ(AP)アルゴリズムを提案する。 本稿では,まず,事前の最適政策が有用な知識と経験を提供することで,行動ピックアップにおいて重要な役割を担っていることを理論的に分析し,発見する。 次に、周波数に基づくグローバルメソッドと、事前の最適ポリシーに基づく状態クラスタリングに基づくローカルメソッドの2つの異なるAPメソッドを設計する。
  論文  参考訳（メタデータ） (2023-04-03T10:55:16Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
  強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。 多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。 本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。 本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:50:42Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。