論文の概要: Simultaneous Forward and Inverse Human-in-the-Loop Optimization

• arxiv url: http://arxiv.org/abs/2609.22630v1
• Date: Fri, 18 Sep 2026 22:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:40:22.146447
• Title: Simultaneous Forward and Inverse Human-in-the-Loop Optimization
• Title（参考訳）: 同時フォワードとリバース・イン・ザ・ループ最適化
• Abstract要約: SFIHILOは, 個人固有の報酬関数を, 人的結果よりも好みから効率的に推定する。 このアプローチは、遅延した人間の目標を推測する可能性を示し、より伝達可能で効果的な人間とロボットの相互作用を可能にする。
• 参考スコア（独自算出の注目度）: 4.135213777161085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subjective user experience is important to human-robot interaction, but the outcomes users value, and how those preferences vary across individuals and contexts, are often unknown. While inverse learning approaches using human data can help identify user rewards, in many assistive settings the experimental costs of executing a control policy, measuring biomechanical or physiological outcomes, and collecting user feedback often limit the number of queries and optimization iterations. Here, we present Simultaneous Forward and Inverse Human-In-the-Loop Optimization (SFIHILO), which efficiently infers individual-specific reward functions from preferences over human outcomes and identifies a final control policy that maximizes the learned reward. SFIHILO bootstraps a forward model to predict user outcomes from control policies, uses this model for active querying to accelerate inverse reward learning, and then optimizes the final control policy without additional user trials. We score candidate policies by their expected reduction in uncertainty across both forward and inverse beliefs, targeting a regional preference boundary to robustly inform this simultaneous learning process. In simulation, we show that SFIHILO was effective across user heterogeneity, outcome dimensionalities, precision requirements, noise levels, and nonstationarity; compared with mutual information approaches, the proposed active querying strategy significantly improved sample efficiency in inverse learning while preserving forward model accuracy. This approach demonstrates the potential to infer latent human goals, enabling more transferable and effective human-robot interaction.
• Abstract（参考訳）: 主観的ユーザエクスペリエンスは,人間とロボットのインタラクションにおいて重要であるが,ユーザ価値や個人の好みや状況によってどのように異なるかはよく分かっていない。 人間のデータを用いた逆学習アプローチは、ユーザの報酬を特定するのに役立つが、多くの補助的な環境では、制御ポリシーを実行し、生体力学や生理学的な結果を測定し、ユーザのフィードバックを収集することで、クエリの数や最適化のイテレーションを制限していることが多い。 本稿では,人的成果に対する選好から個人固有の報酬関数を効率的に推定し,学習した報酬を最大化する最終制御ポリシを同定する,同時前向き・逆人対ループ最適化(SFIHILO)を提案する。 SFIHILOは、制御ポリシからユーザ結果を予測するためにフォワードモデルをブートストラップし、このモデルをアクティブクエリに使用して、逆報酬学習を加速し、さらにユーザトライアルなしで最終制御ポリシを最適化する。 我々は,この同時学習プロセスに対して,地域的嗜好境界を目標として,前も後も後もって不確実性の低減を期待して,候補政策を採点する。 シミュレーションでは,SFIHILOがユーザ不均一性,結果の次元,精度要件,ノイズレベル,非定常性に対して有効であることを示し,相互情報手法と比較して,提案したアクティブクエリ手法は,モデル精度を保ちながら,逆学習におけるサンプル効率を著しく向上させた。 このアプローチは、遅延した人間の目標を推測する可能性を示し、より伝達可能で効果的な人間とロボットの相互作用を可能にする。

関連論文リスト

• Optimizing Sparse Outcomes Through Dense Behavioral Signals via Value-Guided Preference Distillation [5.277024349608834]
  多目的強化学習問題として長軸対話最適化を定式化する。 本研究では, 高密度補助行動信号のスカラー化合成により, 効果的なクレジット割り当てとスパース結果の最適化が可能であることを示す。 本研究は, 蒸留法により, 長期使用者の保持が著しく向上し, 同時に, 肯定的行動や治療・プロセスマーカーが強化されることを実証する。
  論文  参考訳（メタデータ） (2026-09-13T16:32:54Z)
• Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement [4.027292457517535]
  暗黙のインタラクションストリームから動的ユーザペルソナを直接学習するフレームワークであるIRISを提案する。 IRISは安定したペルソナを生成し、メモリのみのアプローチの限界を明らかにしながら個々のユーザーを区別する。 我々は、匿名化されたReddit r/AmItheAsshole (AITA)データに基づいてIRISを検証する。
  論文  参考訳（メタデータ） (2026-07-29T04:56:14Z)
• Explainable Recommendation with Simulated Human Feedback [8.532115411106068]
  提案する提案手法は,人為的なフィードバック駆動型最適化フレームワークである。 このフレームワークは、人中心で説明可能な要求を達成するために、高い労働コストを発生させることなく、動的にインタラクティブな最適化機構を使用する。 特に,大規模言語モデル(LLM)を人間のシミュレータとして利用して,学習プロセスの指針となる人間的なフィードバックを予測することを提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:46:10Z)
• Value Function Decomposition in Markov Recommendation Process [19.082512423102855]
  本稿では,レコメンダ性能を向上させるためのオンライン強化学習フレームワークを提案する。 これらの2つの因子は、元の時間差損失を分解することで、別々に近似できることを示す。 アンタングル学習フレームワークは、より高速な学習と、アクション探索に対する堅牢性の向上により、より正確な推定を実現することができる。
  論文  参考訳（メタデータ） (2025-01-29T04:22:29Z)
• MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention [76.83428371942735]
  本稿では,人間の介入によるサンプル効率向上を目的としたMEReQ(Maximum-Entropy Residual-Q Inverse Reinforcement Learning)を紹介する。 MereQは、人間の専門家と以前の政策の根底にある報酬関数との相違を捉える残差報酬関数を推論する。 その後、Residual Q-Learning(RQL)を使用して、ポリシーをこの残留報酬関数を使用して人間の好みと整合させる。
  論文  参考訳（メタデータ） (2024-06-24T01:51:09Z)
• Reduced-Rank Multi-objective Policy Learning and Optimization [57.978477569678844]
  実際には、因果研究者は先験を念頭において1つの結果を持っていない。 政府支援の社会福祉プログラムでは、政策立案者は貧困の多次元的性質を理解するために多くの成果を集めている。 本稿では、最適政策学習の文脈において、複数の結果に対するデータ駆動型次元性推論手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T08:16:30Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。