論文の概要: Improving Policy Learning from Delayed Interventions

• arxiv url: http://arxiv.org/abs/2610.17298v1
• Date: Mon, 12 Oct 2026 18:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:22:46.767479
• Title: Improving Policy Learning from Delayed Interventions
• Title（参考訳）: 遅延介入による政策学習の改善
• Abstract要約: 遅延した専門家の介入からの学習は、非遅延した専門家の介入からの学習よりも効果が低いことを示す。 提案するLfDI(Learning from Delayed Intervention)は,専門家が介入した場所と時間に基づいてコスト関数を学習する。 このコスト関数は、専門家データのない状態に対する追加の監督を推測するために使用され、介入を誘発する可能性のある状態を避けるためのポリシーが導かれる。
• 参考スコア（独自算出の注目度）: 15.985689993238461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we explore the idea of expert intervention delays in human-supervised robotic systems for imitation learning system. Previous works in imitation learning have primarily examined the impact of suboptimal experts, where the expert policy makes mistakes, but assumed expert interventions occur immediately after errors are made. Although delayed expert intervention can be viewed as a form of noise that might improve policy robustness, our results show that learning from delayed expert interventions is overall less effective than learning from non-delayed expert interventions; delayed expert interventions are less effective at demonstrating error avoidance behaviors. To address this, we propose Learning from Delayed Intervention (LfDI), which learns a cost function based on where and when the expert intervenes, combined with limited information about the extent of intervention delays provided by the expert. This cost function is then used to infer additional supervision for states without expert data, guiding the policy to avoid states that would likely trigger interventions. We evaluate our method, Learning from Delayed Intervention (LfDI), on simulated environments and show that it outperforms other methods that do not account for intervention delays.
• Abstract（参考訳）: 本研究では,擬似学習システムのためのロボットシステムにおいて,専門家による介入遅延の考え方を考察する。 模倣学習におけるこれまでの研究は、専門家の方針が誤りを犯すような、最適でない専門家の影響を主に調べてきたが、専門家の介入は誤りが生じた直後に起こると仮定された。 遅れた専門家の介入は、政策の堅牢性を改善する可能性のあるノイズの一種とみなすことができるが、我々の結果は、遅れた専門家の介入からの学習は、非遅延した専門家の介入からの学習よりも全体的には効果が低いことを示している。 そこで本稿では,専門家が介入した場所と時期に基づいてコスト関数を学習するLearning from Delayed Intervention (LfDI)を提案する。 このコスト関数は、専門家データのない状態に対する追加の監督を推測するために使用され、介入を誘発する可能性のある状態を避けるためのポリシーが導かれる。 シミュレーション環境における遅延介入(LfDI)の学習方法の評価を行い,介入遅延を考慮しない他の手法よりも優れていることを示す。

関連論文リスト

• Test-Time Learning of Causal Structure from Interventional Data [50.06913286558919]
  共同因果推論を用いたテスト時間トレーニングを併用する新しい手法であるTICL(Test-Time Interventional Causal Learning)を提案する。 具体的には、テスト時にインスタンス固有のトレーニングデータを生成するための自己拡張戦略を設計し、分散シフトを効果的に回避する。 共同因果推論を統合することで,PCにインスパイアされた2相教師付き学習手法を開発し,理論的識別性を確保しつつ,自己拡張学習データを有効に活用した。
  論文  参考訳（メタデータ） (2026-02-22T11:23:05Z)
• Action Chunking and Exploratory Data Collection Yield Exponential Improvements in Behavior Cloning for Continuous Control [24.901172157291096]
  オープンループにおける行動列の予測と,専門家による実証実験の探索的拡張について検討した。 本研究は,制御理論的安定性をこれらの介入の利点の根底にある重要なメカニズムとして同定した。 理論面では、制御理論レンズが複合誤差の発生に関する詳細な知見を提供することを示した。
  論文  参考訳（メタデータ） (2025-07-11T22:36:39Z)
• Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism [48.41735416075536]
  インタラクティブ・イミテーション・ラーニング (Interactive Imitation Learning, IIL) は、エージェントが人間の介入を通じて望ましい行動を取得することを可能にする。 本稿では,人間の実演を依頼する適応的基準を学習するロボットゲート型IILアルゴリズムであるAdaptive Intervention Mechanism (AIM)を提案する。
  論文  参考訳（メタデータ） (2025-06-10T18:43:26Z)
• MILE: Model-based Intervention Learning [0.0]
  ごく少数の専門家の介入で政策を学ぶことが可能であることを示す。 私たちの重要な洞察は、専門家のフィードバックから、現在の状態の品質と選択されたアクションの最適性について重要な情報を得ることができます。
  論文  参考訳（メタデータ） (2025-02-19T08:15:16Z)
• Inverse Delayed Reinforcement Learning [10.317802812959808]
  Inverse Reinforcement Learning (IRL) は様々な模倣作業において有効性を示した。 遅延障害に影響を受ける専門家の軌跡から報奨特徴を抽出するIRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-04T00:53:55Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Delayed Reinforcement Learning by Imitation [31.932677462399468]
  遅延しない実演から遅延環境での動作方法を学ぶ新しいアルゴリズムを提案する。 各種タスクにおいて,DIDAは顕著なサンプル効率で高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-11T15:27:33Z)
• SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event Data [83.50281440043241]
  時系列データから不均一な処理効果を推定する問題について検討する。 本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T20:13:17Z)
• Fighting Copycat Agents in Behavioral Cloning from Observation Histories [85.404120663644]
  模倣学習は、入力観察から専門家が選択したアクションにマップするポリシーを訓練する。 本稿では,従来の専門家の行動ニュアンスに関する過剰な情報を除去する特徴表現を学習するための敵対的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-28T10:52:10Z)
• Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
  実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。 そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。 本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
  論文  参考訳（メタデータ） (2020-07-02T14:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。