論文の概要: Learning from negative feedback, or positive feedback or both

• arxiv url: http://arxiv.org/abs/2410.04166v3
• Date: Fri, 07 Mar 2025 10:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:55:27.357116
• Title: Learning from negative feedback, or positive feedback or both
• Title（参考訳）: ネガティブなフィードバックから学ぶか、ポジティブなフィードバックから学ぶか、両方から学ぶ
• Authors: Abbas Abdolmaleki, Bilal Piot, Bobak Shahriari, Jost Tobias Springenberg, Tim Hertweck, Rishabh Joshi, Junhyuk Oh, Michael Bloesch, Thomas Lampe, Nicolas Heess, Jonas Buchli, Martin Riedmiller,
• Abstract要約: ポジティブなフィードバックとネガティブなフィードバックから学習を分離する新しいアプローチを導入する。 重要な貢献は、ネガティブなフィードバックだけで安定した学習を示すことです。
• 参考スコア（独自算出の注目度）: 21.95277469346728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing preference optimization methods often assume scenarios where paired preference feedback (preferred/positive vs. dis-preferred/negative examples) is available. This requirement limits their applicability in scenarios where only unpaired feedback--for example, either positive or negative--is available. To address this, we introduce a novel approach that decouples learning from positive and negative feedback. This decoupling enables control over the influence of each feedback type and, importantly, allows learning even when only one feedback type is present. A key contribution is demonstrating stable learning from negative feedback alone, a capability not well-addressed by current methods. Our approach builds upon the probabilistic framework introduced in (Dayan and Hinton, 1997), which uses expectation-maximization (EM) to directly optimize the probability of positive outcomes (as opposed to classic expected reward maximization). We address a key limitation in current EM-based methods: they solely maximize the likelihood of positive examples, while neglecting negative ones. We show how to extend EM algorithms to explicitly incorporate negative examples, leading to a theoretically grounded algorithm that offers an intuitive and versatile way to learn from both positive and negative feedback. We evaluate our approach for training language models based on human feedback as well as training policies for sequential decision-making problems, where learned value functions are available.
• Abstract（参考訳）: 既存の選好最適化手法では、ペア化された選好フィードバック(好ましくない/好ましくない/好ましくない例)が利用できるシナリオを想定していることが多い。 この要件は、例えば、肯定的あるいは否定的なフィードバックが利用可能な場合にのみ適用性を制限する。 そこで我々は,肯定的,否定的なフィードバックから学習を分離する新しいアプローチを提案する。 この分離により、各フィードバックタイプの影響を制御でき、重要なことは、1つのフィードバックタイプが存在する場合でも学習することができる。 重要な貢献は、負のフィードバックだけで安定した学習を示すことだ。 提案手法は (Dayan and Hinton, 1997) で導入された確率的フレームワークに基づいており, 期待最大化(EM)を用いて(古典的な期待報酬最大化とは対照的に)正の結果の確率を直接最適化する。 現在のEMベースの手法では、正の例の可能性だけを最大化し、負の例を無視する、という重要な制限に対処する。 提案手法は, 正と負の両方のフィードバックから学習する直感的, 汎用的な手法を提供する理論的な基礎的アルゴリズムを実現するために, 負の例を明示的に取り入れるためにEMアルゴリズムを拡張する方法を示す。 人間のフィードバックに基づいて言語モデルを訓練する手法と、学習価値関数が利用できるシーケンシャルな意思決定問題に対する訓練方針を評価する。

関連論文リスト

• Bridging the Gap Between Preference Alignment and Machine Unlearning [16.24082027914431]
  本稿では,大規模言語モデルにおける優先度アライメントと,人間のフィードバックによる強化学習との関係を考察する枠組みを提案する。 分析の結果,全ての否定例が未学習時のアライメント改善に等しく寄与するわけではないことが判明した。 本稿では,2段階最適化を利用して最適PA性能のサンプルを効率よく選択し,未学習の例を抽出するUnlearning to Alignというフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-09T07:49:08Z)
• Variational Bayesian Personalized Ranking [39.24591060825056]
  変分的BPRは、確率最適化、ノイズ低減、人気低下を統合する、新しく実装が容易な学習目標である。 本稿では,問題サンプルからの雑音を効果的に低減するために,注目に基づく競合学習手法を提案する。 実験により、人気のあるバックボーンレコメンデーションモデルにおける変分BPRの有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-14T04:22:01Z)
• Negative-Prompt-driven Alignment for Generative Language Model [34.191590966148816]
  本稿では,言語モデルが望ましくない行動から遠ざかるように,NEGative-prompt-driven AlignmenTを提案する。 NEATは有害なアウトプットを生成するためのモデルを明確に罰し、望ましい行動だけでなく、望ましくない偏見のある反応を発生させないよう仕向けている。 大規模な実験により、NEATは言語モデルと人間の価値観と嗜好との整合性を著しく向上させる効果を検証した。
  論文  参考訳（メタデータ） (2024-10-16T03:30:09Z)
• Understanding Likelihood Over-optimisation in Direct Alignment Algorithms [20.043560907227018]
  ダイレクトアライメントアルゴリズム(DAA)は、ヒューマンフィードバックによるオンライン強化学習の代替として登場した。 これらのアルゴリズムは、より良い(好ましくない)完了を生成する可能性を高めつつ、悪い(好ましくない)完了を阻止することを目的としている。 本研究は,最先端DAAにおける完成可能性とモデル性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-15T15:14:22Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models [2.0962367975513496]
  機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。 既存の未学習手法は, 無視集合に関連する応答を抑制するために, 負のフィードバックのみに頼っている。 本稿では,AltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T13:05:07Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization [37.8788435790632]
  大規模言語モデル(LLM)は、AIの役割に革命をもたらしたが、潜在的な社会的リスクをもたらしている。 既存の方法は高品質な正負の訓練ペアに依存しており、ノイズの多い正の反応に悩まされており、負の反応とほとんど区別できない。 本稿では,非参照応答と生成した非負応答との差を最大化する分散参照最適化(D$2$O)を提案する。
  論文  参考訳（メタデータ） (2024-03-06T03:02:38Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization [30.689032197123755]
  本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。 未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
  論文  参考訳（メタデータ） (2024-01-04T01:32:50Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Direct Advantage Estimation [63.52264764099532]
  予測されるリターンは、学習を遅くする可能性のある望ましくない方法でポリシーに依存する可能性があることを示します。 本稿では,優位関数をモデル化し,データから直接推定する手法として,DAE(Direct Advantage Estimation)を提案する。 望むなら、値関数をDAEにシームレスに統合して、時間差学習と同様の方法で更新することもできる。
  論文  参考訳（メタデータ） (2021-09-13T16:09:31Z)
• Top-N Recommendation with Counterfactual User Preference Simulation [26.597102553608348]
  ユーザーランキングに基づく好みの学習を目的としたTop-Nレコメンデーションは、長い間、広範囲のアプリケーションにおいて基本的な問題だった。 本稿では,データ不足問題に対処するため,因果推論フレームワーク内での推薦タスクの再構築を提案する。
  論文  参考訳（メタデータ） (2021-09-02T14:28:46Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。