論文の概要: Leveraging Human Feedback for Semantically-Relevant Skill Discovery

• arxiv url: http://arxiv.org/abs/2604.24127v1
• Date: Mon, 27 Apr 2026 07:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.790323
• Title: Leveraging Human Feedback for Semantically-Relevant Skill Discovery
• Title（参考訳）: セマンティックなスキル発見のための人間フィードバックの活用
• Authors: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana,
• Abstract要約: 本稿では,スキル発見のための新手法として,Semantically Relevant Skill Discovery (SRSD)を提案する。 SRSDは人間のフィードバックからセマンティックラベルを収集し、報酬関数を学び、よりセマンティックに多様性があり、関連するスキルを奨励する。 SRSDは意味的多様性を向上し,多様な行動に対して効果的にスケーリングしながら,関連する行動を発見することを実証する。
• 参考スコア（独自算出の注目度）: 11.543807097834785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised skill discovery in reinforcement learning aims to intrinsically motivate agents to discover diverse and useful behaviours. However, unconstrained approaches can produce unsafe, unethical, or misaligned behaviours. To mitigate these risks and improve the practical desireability of discovered skills, recent work grounds the discovery process by leveraging human preference feedback. However, preference-based approaches are feedback-inefficient and inherently ill-equipped to deal with skill spaces composed of a variety of different skills such as running, jumping, walking, etc. To overcome this limitation, we introduce semantic labelling, a novel and feedback-efficient approach that leverages human cognitive strengths to identify and label semantically meaningful behaviours. Based on semantic labelling, we propose Semantically Relevant Skill Discovery (SRSD), a novel human-in-the-loop approach that collects semantic labels from human feedback and learns a reward function to encourage skills to be more semantically diverse and relevant. Through our experiments in a 2D navigation environment and four locomotion environments, we demonstrate that SRSD can improve semantic diversity and discover relevant behaviours while scaling effectively to a large variety of behaviours.
• Abstract（参考訳）: 強化学習における教師なしスキル発見は、エージェントを本質的に動機づけ、多様で有用な振る舞いを発見することを目的としている。 しかし、制約のないアプローチは、安全でない、倫理的でない、あるいは不整合な振る舞いをもたらす可能性がある。 これらのリスクを軽減し、発見されたスキルの実践的欲求性を改善するために、最近の研究は、人間の好みのフィードバックを活用して発見プロセスの基盤となっている。 しかし、嗜好に基づくアプローチは、フィードバック非効率であり、本質的にはランニング、ジャンプ、ウォーキングなど、さまざまなスキルからなるスキルスペースに対処できない。 この制限を克服するために,人間の認知力を活用して意味論的に意味のある行動を特定し,ラベル付けする,新しい,フィードバック効率の高い手法であるセマンティックラベリングを導入する。 セマンティック・リレーショナル・スキル発見(Semantically Relevant Skill Discovery, SRSD)は,人間のフィードバックからセマンティック・ラベルを収集し,よりセマンティックに多様で関連性の高いスキルを奨励する報酬関数を学習する,新たなヒューマン・イン・ザ・ループ・アプローチである。 2次元ナビゲーション環境と4つの移動環境における実験を通して、SRSDは意味的多様性を改善し、関連する振る舞いを発見しながら、多様な行動に効果的にスケールできることを実証した。

関連論文リスト

• Act, Sense, Act: Learning Non-Markovian Active Perception Strategies from Large-Scale Egocentric Human Data [30.493131697188627]
  我々は、情報ゲインと意思決定分岐によって駆動される非マルコフ過程として能動的知覚を定式化する。 本稿では,認知と記憶を意識した視覚言語アクションフレームワークCoMe-VLAを紹介する。 本フレームワークは,自律的なサブタスク遷移のための認知補助ヘッドと,一貫した自己および環境意識を維持するためのデュアルトラックメモリシステムを統合する。
  論文  参考訳（メタデータ） (2026-02-04T14:28:14Z)
• Human Behavior Atlas: Benchmarking Unified Psychological and Social Behavior Understanding [50.34821397821815]
  Human Behavior Atlasは、テキスト、オーディオ、視覚的モダリティにまたがる10万以上のサンプルで構成されている。 統合作業は冗長性とコストを低減し、タスク間の効率的なスケーリングを可能にし、ドメイン間の行動特徴の一般化を促進する。
  論文  参考訳（メタデータ） (2025-10-06T15:16:45Z)
• Truly Self-Improving Agents Require Intrinsic Metacognitive Learning [59.60803539959191]
  自己改善エージェントは、最小限の監督で継続的に新しい能力を取得することを目的としている。 現在のアプローチは2つの重要な制限に直面している。自己改善プロセスは、しばしば厳格であり、タスクドメイン全体にわたって一般化できない。 我々は、効果的な自己改善は、エージェントの本質的な能力として定義された固有のメタ認知学習を必要とし、自身の学習プロセスを積極的に評価し、反映し、適応させる。
  論文  参考訳（メタデータ） (2025-06-05T14:53:35Z)
• Human-Aligned Skill Discovery: Balancing Behaviour Exploration and Alignment [14.948610521764415]
  我々は、より安全でより整合したスキルを発見するために、ヒューマンアライメントスキル発見(HaSD)を提案する。 HaSDはスキルの多様性と人間の価値との整合性を同時に最適化する。 2次元ナビゲーションとセーフティガイムナシウム環境の両方で有効性を示す。
  論文  参考訳（メタデータ） (2025-01-29T06:14:27Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Language Guided Skill Discovery [56.84356022198222]
  言語ガイドスキル発見(LGSD)を導入し,スキル間の意味的多様性を最大化する。 LGSDはユーザープロンプトを入力として取り、セマンティックなスキルのセットを出力する。 本研究は,LGSDにより,単にプロンプトを変更するだけで,手足のロボットが平面上の異なるユーザ意図のエリアを訪問できることを実証する。
  論文  参考訳（メタデータ） (2024-06-07T04:25:38Z)
• ComSD: Balancing Behavioral Quality and Diversity in Unsupervised Skill Discovery [12.277005054008017]
  textbfContrastive dynatextbfmic textbfSkill textbfDiscovery textbf(ComSD)を提案する。 ComSDは、コントラッシブ・ダイナミック・報酬(英語版)という新しい本質的なインセンティブを通じて、多種多様な、探索的な教師なしのスキルを生成する。 また、木のような2D迷路において、識別可能で遠縁な探査技術も発見できる。
  論文  参考訳（メタデータ） (2023-09-29T12:53:41Z)
• Controlled Diversity with Preference : Towards Learning a Diverse Set of Desired Skills [15.187171070594935]
  エージェントが多様かつ望ましいスキルのセットを学ぶための協調的なヒューマンガイド機構である制御された多様性と優先度(CDP)を提案する。 鍵となる原則は、軌道上の人間の嗜好ラベルを用いて訓練された嗜好モデルに従って、好まれる領域にスキルの発見を制限することである。 2次元ナビゲーションとMujoco環境に対する我々のアプローチを評価し、多様な、しかし望ましいスキルを発見できることを実証した。
  論文  参考訳（メタデータ） (2023-03-07T03:37:47Z)
• Flexible social inference facilitates targeted social learning when rewards are not observable [58.762004496858836]
  グループは、個人が他人の成功から学べるときにより効果的にコーディネートする。 社会的推論能力は、このギャップを埋める助けとなり、個人が他人の基本的な知識に対する信念を更新し、観察可能な行動軌跡から成功することを示唆する。
  論文  参考訳（メタデータ） (2022-12-01T21:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。