論文の概要: Learning from Preferences and Mixed Demonstrations in General Settings

• arxiv url: http://arxiv.org/abs/2508.14027v1
• Date: Tue, 19 Aug 2025 17:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:32.034136
• Title: Learning from Preferences and Mixed Demonstrations in General Settings
• Title（参考訳）: 一般設定における選好と混合デモからの学習
• Authors: Jason R Brown, Carl Henrik Ek, Robert D Mullins,
• Abstract要約: 人間のデータから学習するための新しいフレーミングを開発した。 これに基づいて、LEOPARD:Learning Estimated Objectives from Preferences and Ranked Demonstrationsを紹介する。 限定的な好みと実演フィードバックが得られれば、LEOPARDは既存のベースラインをかなり上回ります。
• 参考スコア（独自算出の注目度）: 10.456686259749125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning is a general method for learning in sequential settings, but it can often be difficult to specify a good reward function when the task is complex. In these cases, preference feedback or expert demonstrations can be used instead. However, existing approaches utilising both together are often ad-hoc, rely on domain-specific properties, or won't scale. We develop a new framing for learning from human data, \emph{reward-rational partial orderings over observations}, designed to be flexible and scalable. Based on this we introduce a practical algorithm, LEOPARD: Learning Estimated Objectives from Preferences And Ranked Demonstrations. LEOPARD can learn from a broad range of data, including negative demonstrations, to efficiently learn reward functions across a wide range of domains. We find that when a limited amount of preference and demonstration feedback is available, LEOPARD outperforms existing baselines by a significant margin. Furthermore, we use LEOPARD to investigate learning from many types of feedback compared to just a single one, and find that combining feedback types is often beneficial.
• Abstract（参考訳）: 強化学習はシーケンシャルな設定で学習する一般的な方法であるが、タスクが複雑である場合に良い報酬関数を特定することは困難であることが多い。 このような場合、代わりに好みのフィードバックや専門家によるデモンストレーションが使用できる。 しかし、両方を利用する既存のアプローチは、しばしばアドホックで、ドメイン固有のプロパティに依存しているか、スケールしない。 我々は,人間のデータから学習するための新しいフレーミング,すなわち,フレキシブルでスケーラブルに設計された,観察上のemph{reward-rational partial orderings}を開発する。 これに基づいて、LEOPARD:Learning Estimated Objectives from Preferences and Ranked Demonstrationsを紹介する。 LEOPARDは、否定的なデモンストレーションを含む幅広いデータから学習し、幅広い領域にわたる報酬関数を効率的に学習することができる。 限定的な好みと実演フィードバックが得られれば、LEOPARDは既存のベースラインをかなり上回ります。 さらに、LEOPARDを用いて、たった1つのフィードバックに比べて、さまざまなタイプのフィードバックから学ぶことを研究する。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Adaptive Language-Guided Abstraction from Contrastive Explanations [53.48583372522492]
  報酬を計算するためにこれらの特徴をどのように使うべきかを決定する前に、環境のどの特徴が関係しているかを決定する必要がある。 連立特徴と報奨学習のためのエンドツーエンドの手法は、しばしば、刺激的な状態特徴に敏感な脆い報酬関数をもたらす。 本稿では,言語モデルを用いて人間に意味のある特徴を反復的に識別するALGAEという手法について述べる。
  論文  参考訳（メタデータ） (2024-09-12T16:51:58Z)
• A Dual Approach to Imitation Learning from Observations with Offline Datasets [19.856363985916644]
  報酬関数の設計が困難な環境では、エージェントを学習するためのタスク仕様の効果的な代替手段である。 専門家の行動を必要とせずに任意の準最適データを利用してポリシーを模倣するアルゴリズムであるDILOを導出する。
  論文  参考訳（メタデータ） (2024-06-13T04:39:42Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
  良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。 本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。 提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-12-01T00:54:02Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Reinforcement Learning with Supervision from Noisy Demonstrations [38.00968774243178]
  本研究では,環境と協調して対話し,専門家による実演を生かして政策を適応的に学習する新しい枠組みを提案する。 複数の人気強化学習アルゴリズムを用いた各種環境における実験結果から,提案手法はノイズの多い実演で頑健に学習可能であることが示された。
  論文  参考訳（メタデータ） (2020-06-14T06:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。