論文の概要: A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration

• arxiv url: http://arxiv.org/abs/2610.09891v1
• Date: Wed, 07 Oct 2026 11:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.880026
• Title: A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration
• Title（参考訳）: ロボット協調のための人間のフィードバックからの強化学習に関するスコーピングのレビューと実験的検討
• Abstract要約: ヒューマンフィードバックからの強化学習は、安全なAIベースのロボットを開発するための有望なアプローチである。 AI開発中の安全性、人間のフィードバック品質、双方向の人間ロボット適応に関する実践的な課題は依然として残っている。 これはRLHFの双方向閉ループ設計に焦点を当てた最初のレビューである。
• 参考スコア（独自算出の注目度）: 35.44075612576797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-Robot Collaboration (HRC) can facilitate mass customisation in Industry 4.0, with Reinforcement Learning from Human Feedback (RLHF) representing a promising approach for developing safe AI-based robots. Practical challenges remain regarding safety during AI development, human feedback quality, and bidirectional human-robot adaptation. We conducted a scoping review of RLHF in HRC systems, mapping methods that address these challenges. Following PRISMA guidelines, we screened 199 records and included 20 peer-reviewed publications (2020-2025) spanning multiple HRC domains. To our knowledge, this is the first review focused on the bidirectional, closed-loop design of RLHF. Our review found multiple feedback modalities enabling data collection in various feedback formats. Collected data can be integrated at different stages of AI training, resulting in a multi-step development process. Pilot experiments are commonly used to evaluate HRC systems based on both human and robot metrics. To empirically test a key gap identified in the review, we conducted a between-subjects VR experiment comparing system- and user-initiated feedback on robot proxemic behaviour for safe navigation. Using Bayesian models, we analysed the relation between the collected feedback and safety metrics: psychological safety (post-experiment questionnaire) and physical safety (inverse time-to-collision). Results show that user-initiated feedback captures perceived safety better than system-initiated feedback, indicating that feedback timing directly affects feedback quality. Our review and experiment findings show that RLHF relies on appropriate feedback methods to ensure AI safety in HRC, and future RLHF research should prioritise realistic HRC experiments evaluating the effects of feedback collection methods on relevant human and robot metrics.
• Abstract（参考訳）: Human-Robot Collaboration (HRC)は産業4.0における大量カスタマイズを促進する。Reinforcement Learning from Human Feedback (RLHF)は、安全なAIベースのロボットを開発するための有望なアプローチである。 AI開発中の安全性、人間のフィードバック品質、双方向の人間ロボット適応に関する実践的な課題は依然として残っている。 我々は,これらの課題に対処するマッピング手法を用いて,RCシステムにおけるRLHFのスコーピングレビューを行った。 PRISMAガイドラインに従い、199レコードをスクリーニングし、複数のHRCドメインにまたがる20の査読論文(2020-2025)を収録した。 我々の知る限り、これはRLHFの双方向閉ループ設計に焦点を当てた最初のレビューである。 さまざまなフィードバック形式のデータ収集を可能にする複数のフィードバックモダリティが得られた。 収集されたデータはAIトレーニングのさまざまな段階で統合することができ、結果として多段階の開発プロセスが実現される。 パイロット実験は、人間とロボットの両方のメトリクスに基づいて、HRCシステムを評価するために一般的に使用される。 レビューで確認された重要なギャップを実証的にテストするため,安全ナビゲーションのためのシステムとユーザ主導のフィードバックを比較したVR実験を行った。 ベイズモデルを用いて,心理学的安全性(実験後アンケート)と身体的安全性(協調の逆時間)の関係を分析した。 その結果,ユーザ主導のフィードバックは,システム主導のフィードバックよりも安全性が向上し,フィードバックタイミングがフィードバックの質に直接影響を与えることが示された。 我々のレビューと実験結果から,RLHFはHRCにおけるAI安全性を確保するための適切なフィードバック手法に依存しており,今後のRLHF研究は,人間とロボットのメトリクスに対するフィードバック収集手法の効果を評価する現実的なHRC実験を優先すべきであることがわかった。

関連論文リスト

• When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation [50.90087870200793]
  大規模言語モデル(LLM)は、科学的な評価にますます参加している。 このフィードバックループの1ステップを制御された環境で研究する。 TrustReviewerは、AIと機械学習論文のピアレビューを生成するための、オープンソースのシステムである。
  論文  参考訳（メタデータ） (2026-09-17T18:01:08Z)
• RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation [3.998312409829935]
  人間のフィードバックからの強化学習は、重度で体系的なミスアライメントを引き起こす可能性があることを示す。 本稿では,Reinforcement Learning from Hindsight Simulation (RLHS)を紹介する。 RLHSは実験や人体評価においてRLHFのアライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-15T06:33:15Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• Towards interactive evaluations for interaction harms in human-AI systems [8.989911701384788]
  我々は,テキストインタラクションの害に着目したテキストインタラクション倫理に基づく評価へのシフトを提案する。 まず,(1)静的,(2)普遍的なユーザエクスペリエンスを仮定し,(3)構成妥当性を限定した現状評価手法の限界について議論する。 インタラクティブな評価を設計するための実践的原則として, 生態学的に有効な相互作用シナリオ, ヒューマンインパクトメトリクス, 多様な人間参加アプローチなどがあげられる。
  論文  参考訳（メタデータ） (2024-05-17T08:49:34Z)
• Off-Policy Evaluation for Human Feedback [46.82894469763776]
  オフライン学習と強化学習(RL)のギャップを埋めるためには、オフ政治評価(OPE)が重要である 既存のOPE手法は、人間のフィードバック(HF)信号を推定するには不十分である。 本稿では,HF 信号の正確な評価のために,既存の OPE 手法を復元する HF 用 OPE (OPEHF) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-11T01:52:42Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。