論文の概要: Accelerating Reinforcement Learning via Error-Related Human Brain Signals

• arxiv url: http://arxiv.org/abs/2511.18878v1
• Date: Mon, 24 Nov 2025 08:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.110293
• Title: Accelerating Reinforcement Learning via Error-Related Human Brain Signals
• Title（参考訳）: 誤り関連脳信号による強化学習の高速化
• Authors: Suzie Kim, Hye-Bin Shin, Hyo-Jeong Jang,
• Abstract要約: 本研究では、複雑なロボット操作設定において、暗黙のニューラルフィードバックが強化学習を加速させる方法について検討する。 オフライン学習された脳波分類器からデコードされたエラー関連電位を報酬形成に統合し、フィードバック重み付けの効果を評価する。 本研究は,脳波を用いた強化学習が運動課題を超えて拡張可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.43012765978447565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we investigate how implicit neural feed back can accelerate reinforcement learning in complex robotic manipulation settings. While prior electroencephalogram (EEG) guided reinforcement learning studies have primarily focused on navigation or low-dimensional locomotion tasks, we aim to understand whether such neural evaluative signals can improve policy learning in high-dimensional manipulation tasks involving obstacles and precise end-effector control. We integrate error related potentials decoded from offline-trained EEG classifiers into reward shaping and systematically evaluate the impact of human-feedback weighting. Experiments on a 7-DoF manipulator in an obstacle-rich reaching environment show that neural feedback accelerates reinforcement learning and, depending on the human-feedback weighting, can yield task success rates that at times exceed those of sparse-reward baselines. Moreover, when applying the best-performing feedback weighting across all sub jects, we observe consistent acceleration of reinforcement learning relative to the sparse-reward setting. Furthermore, leave-one subject-out evaluations confirm that the proposed framework remains robust despite the intrinsic inter-individual variability in EEG decodability. Our findings demonstrate that EEG-based reinforcement learning can scale beyond locomotion tasks and provide a viable pathway for human-aligned manipulation skill acquisition.
• Abstract（参考訳）: 本研究では、複雑なロボット操作設定において、暗黙のニューラルフィードバックが強化学習を加速させる方法について検討する。 従来の脳波誘導型強化学習研究はナビゲーションや低次元移動タスクに重点を置いているが,そのような神経的評価信号が障害や正確なエンドエフェクタ制御を含む高次元操作タスクにおいて,政策学習を改善することができるかを理解することを目的としている。 オフライン学習された脳波分類器からデコードされたエラー関連電位を報酬形成に統合し,人間のフィードバック重み付けの影響を系統的に評価する。 障害物に富んだ環境下での7-DoFマニピュレータの実験は、神経フィードバックが強化学習を加速し、人間のフィードバック重み付けに依存することにより、時折スパース・リワードベースラインを超えるタスク成功率が得られることを示している。 さらに,全てのサブジェクトに対して最高のフィードバック重み付けを施すと,スパース・リワード設定に対する強化学習の一貫した加速度が観察される。 さらに,脳波の偏極性に固有の個人間変動があるにもかかわらず,その枠組みが頑健であることを確認する。 本研究は,脳波を用いた強化学習が運動課題を超えて拡張可能であることを示す。

関連論文リスト

• Hierarchical Reinforcement Learning Framework for Adaptive Walking Control Using General Value Functions of Lower-Limb Sensor Signals [0.40498500266986387]
  階層強化学習を用いて,低域外骨格に対する適応制御戦略を開発する。 提案手法は,エクソスケルトン制御適応の複雑なタスクを,地形戦略適応のための高レベルフレームワークと予測情報を提供する低レベルフレームワークに分解する。 本研究では,実際のセンサ信号と予測センサ信号を政策ネットワークに組み込むことにより,制御システムの意思決定能力を向上させることを目的とした2つの手法について検討した。
  論文  参考訳（メタデータ） (2025-07-22T19:47:04Z)
• Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback [26.585985828583304]
  非侵襲脳波(EEG)信号を利用した暗黙のフィードバック(RLIHF)フレームワークによる新しい強化学習を提案する。 我々は,Kinova Gen2ロボットアームを用いて,MuJoCo物理エンジン上に構築したシミュレーション環境におけるアプローチを評価した。 結果は、デコードされた脳波フィードバックで訓練されたエージェントが、密集した手作業による報酬で訓練されたエージェントに匹敵するパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2025-07-17T14:35:12Z)
• When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks? [7.479827648985631]
  ニューロエボリューション(NE)は、局所最適化から逃れるための堅牢性、スケーラビリティ、能力について最近注目を集めている。 ステップゲートでは、ニューラルネットワークが論理回路をエミュレートし、モジュラー繰り返しと変分bを強調する設計で、エコロボットはブラックス物理エンジンを壁や障害物などの物体で拡張する。 実験により, NE法は伝達能力に違いがあり, RL法よりも高い結果が得られた。
  論文  参考訳（メタデータ） (2025-05-28T13:15:18Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)
• Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback [10.138798960466222]
  人間のフィードバックによる強化学習(RL)エージェントは、学習のさまざまな側面を劇的に改善することができる。 従来の方法では、人間の観察者が明示的に入力をし、RLエージェントの学習プロセスのループで人間を負担する必要があった。 脳波による人間の内因性反応を、エラー関連電位(ErrP)の形で暗黙の(そして自然な)フィードバックとして捉えることを検討する。
  論文  参考訳（メタデータ） (2020-06-30T03:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。