論文の概要: What you reward is what you learn: Comparing rewards for online speech policy optimization in public HRI

• arxiv url: http://arxiv.org/abs/2601.01969v1
• Date: Mon, 05 Jan 2026 10:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.63394
• Title: What you reward is what you learn: Comparing rewards for online speech policy optimization in public HRI
• Title（参考訳）: パブリックなHRIにおけるオンライン音声ポリシー最適化の報酬を比較する
• Authors: Sichao Song, Yuki Okafuji, Kaito Ariu, Amy Koike,
• Abstract要約: 我々は,社会ロボットの音声ポリシーを野生で適応させる方法について研究する。 1,400人以上の公的な出会いを伴う12日間のIn-situデプロイメントにおいて、オンラインポリシー最適化をマルチ武器の盗聴問題として捉えた。 我々は、実際のHRI設定で音声ポリシーのオンライン最適化を行うための準備の整った設計レッスンを精査する。
• 参考スコア（独自算出の注目度）: 15.072441840105824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing policies that are both efficient and acceptable for conversational service robots in open and diverse environments is non-trivial. Unlike fixed, hand-tuned parameters, online learning can adapt to non-stationary conditions. In this paper, we study how to adapt a social robot's speech policy in the wild. During a 12-day in-situ deployment with over 1,400 public encounters, we cast online policy optimization as a multi-armed bandit problem and use Thompson sampling to select among six actions defined by speech rate (slow/normal/fast) and verbosity (concise/detailed). We compare three complementary binary rewards--Ru (user rating), Rc (conversation closure), and Rt (>=2 turns)--and show that each induces distinct arm distributions and interaction behaviors. We complement the online results with offline evaluations that analyze contextual factors (e.g., crowd level, group size) using video-annotated data. Taken together, we distill ready-to-use design lessons for deploying online optimization of speech policies in real public HRI settings.
• Abstract（参考訳）: オープンで多様な環境における対話型サービスロボットにとって、効率的かつ許容できるポリシーを設計するのは簡単ではない。 固定された手動のパラメータとは異なり、オンライン学習は静止しない条件に適応することができる。 本稿では,社会ロボットの音声ポリシーを野生に適応させる方法について検討する。 1400人以上の公的な出会いを伴う12日間のインサイト展開において、オンラインポリシー最適化をマルチアームバンディット問題とみなし、トンプソンサンプリングを用いて、発話速度(slow/normal/fast)と冗長性(concise/detailed)で定義された6つのアクションを選択した。 我々は,3つの相補的な2次報酬 – Ru (ユーザ評価), Rc (会話閉鎖), Rt (>=2 ターン) を比較し,それぞれが異なるアーム分布と相互作用挙動を誘導することを示す。 ビデオアノテートデータを用いて、オンラインの結果を、文脈要因(例えば、群衆レベル、グループサイズ)を分析するオフライン評価で補完する。 そこで本研究では,実際のHRI設定において,音声ポリシーのオンライン最適化を行うための準備の整った設計レッスンを精査する。

関連論文リスト

• Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
  Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。 我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。 本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T13:33:30Z)
• Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation [82.73098356401725]
  本稿では,過去観測された動きに基づいて次のキャラクターのポーズを生成するためのオンライン反応ポリシーであるReady-to-Reactを提案する。 各キャラクターは独自の反応ポリシーを「脳」として持っており、実際の人間のようにストリーミングで対話することができる。 われわれのアプローチはスパース信号で制御でき、VRや他のオンラインインタラクティブ環境にも適している。
  論文  参考訳（メタデータ） (2025-02-27T18:40:30Z)
• OMPO: A Unified Framework for RL under Policy and Dynamics Shifts [42.57662196581823]
  様々な政策やダイナミクスから収集された環境相互作用データを用いた強化学習政策の訓練は、根本的な課題である。 既存の作業は、ポリシーやダイナミクスのシフトによって引き起こされる分散の相違を見落としている場合が多い。 本稿では,オンラインRL政策学習のための統一的戦略をポリシーと動的シフトの多様な設定の下で同定する。
  論文  参考訳（メタデータ） (2024-05-29T13:36:36Z)
• PREDILECT: Preferences Delineated with Zero-Shot Language-based Reasoning in Reinforcement Learning [2.7387720378113554]
  ロボット学習の新たな分野として,嗜好に基づく強化学習(RL)が出現している。 我々は、人間が提供するテキストから大言語モデル(LLM)のゼロショット機能を利用する。 シミュレーションシナリオとユーザスタディの両方において、フィードバックとその意味を分析することによって、作業の有効性を明らかにする。
  論文  参考訳（メタデータ） (2024-02-23T16:30:05Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias [96.14064037614942]
  オンライン微調整終了時の方針抽出段階であるオフラインリトレーニングを提案する。 楽観的(探索的)ポリシーは環境と相互作用するために使用され、別の悲観的(探索的)ポリシーは観察されたすべてのデータに基づいて訓練され、評価される。
  論文  参考訳（メタデータ） (2023-10-12T17:50:09Z)
• Increasing Students' Engagement to Reminder Emails Through Multi-Armed Bandits [60.4933541247257]
  本稿では,学生が週毎のメールリマインダーとどのように関わり,時間管理の習慣を構築するかについて,実世界の適応実験を行った。 適応実験にマルチアーマド・バンド(MAB)アルゴリズムを用いると、より良い結果が得られる可能性が高まる。 我々は、これらの適応アルゴリズムの問題点を強調します。例えば、大きな違いがない場合の腕の活用などです。
  論文  参考訳（メタデータ） (2022-08-10T00:30:52Z)
• Online vs. Offline Adaptive Domain Randomization Benchmark [20.69035879843824]
  オフラインとオンラインの両方の手法(SimOpt、BayRn、DROID、DROPO)のオープンなベンチマークを行い、各設定やタスクに最も適しているものを列挙する。 オンライン手法は次のイテレーションで学習したポリシーの品質によって制限されているのに対し,オフライン手法はオープンループコマンドによるシミュレーションでトラジェクトリを再生する際に失敗することがあることがわかった。
  論文  参考訳（メタデータ） (2022-06-29T14:03:53Z)
• Learning a subspace of policies for online adaptation in Reinforcement Learning [14.7945053644125]
  制御システムでは、ポリシーが学習されるロボットは、ポリシーが実行されるロボットとは異なるかもしれない。 訓練条件のバリエーションによく適合するRL法を開発する必要がある。 本稿では,列車時にテスト環境が不明な一般化環境に取り組む上で,最も簡単な方法を考える。
  論文  参考訳（メタデータ） (2021-10-11T11:43:34Z)
• Non-Stationary Off-Policy Optimization [50.41335279896062]
  本研究では,時間的空間的帯域幅の非政治最適化の新たな課題について検討する。 オフライン学習フェーズでは、ログ化されたデータをカテゴリの潜在状態に分割し、各状態に対してほぼ最適のサブポリシーを学ぶ。 オンラインデプロイメントの段階では、学習したサブ政治をそのパフォーマンスに基づいて順応的に切り替える。
  論文  参考訳（メタデータ） (2020-06-15T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。