論文の概要: Reward Modeling with Weak Supervision for Language Models

• arxiv url: http://arxiv.org/abs/2410.20869v1
• Date: Mon, 28 Oct 2024 09:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:27.575420
• Title: Reward Modeling with Weak Supervision for Language Models
• Title（参考訳）: 弱スーパービジョンを用いた言語モデルのためのリワードモデリング
• Authors: Ben Hauptvogel, Malte Ostendorff, Georg Rehm, Sebastian Möller,
• Abstract要約: この研究は、RLHFデータセットを拡張し、報酬モデルのパフォーマンスを向上させる戦略として、弱い監視を導入する。 RLHFデータセットを解析して不正確な応答を識別することにより、簡単なラベル付け関数を作成し、ラベルモデルを弱いラベル付きデータに校正した。 評価の結果,報酬モデルの性能を向上することで,弱い監視がより小さなデータセットに大きく貢献するが,その効果はより大きくラベル付けされたデータセットで減少することがわかった。
• 参考スコア（独自算出の注目度）: 12.599789817157188
• License:
• Abstract: Recent advancements in large language models (LLMs) have led to their increased application across various tasks, with reinforcement learning from human feedback (RLHF) being a crucial part of their training to align responses with user intentions. In the RLHF process, a reward model is trained using responses preferences determined by human labelers or AI systems, which then refines the LLM through reinforcement learning. This work introduces weak supervision as a strategy to extend RLHF datasets and enhance reward model performance. Weak supervision employs noisy or imprecise data labeling, reducing reliance on expensive manually labeled data. By analyzing RLHF datasets to identify heuristics that correlate with response preference, we wrote simple labeling functions and then calibrated a label model to weakly annotate unlabeled data. Our evaluation show that while weak supervision significantly benefits smaller datasets by improving reward model performance, its effectiveness decreases with larger, originally labeled datasets. Additionally, using an LLM to generate and then weakly label responses offers a promising method for extending preference data.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々なタスクにまたがって適用が増加し、人間のフィードバック(RLHF)からの強化学習が、ユーザの意図に反応を合わせるためのトレーニングの重要な部分となっている。 RLHFプロセスでは、報酬モデルが人間のラベルやAIシステムによって決定された応答選好を使用して訓練され、強化学習を通じてLLMを洗練する。 この研究は、RLHFデータセットを拡張し、報酬モデルのパフォーマンスを向上させる戦略として、弱い監視を導入する。 弱監督はノイズや不正確なデータラベリングを採用し、高価な手作業によるラベル付きデータへの依存を減らす。 RLHFデータセットを解析して、応答嗜好と相関するヒューリスティックを識別することにより、単純なラベル付け関数を作成し、ラベルモデルを校正し、ラベル付けされていないデータを弱アノテートする。 評価の結果,報酬モデルの性能を向上することで,弱い監視がより小さなデータセットに大きく貢献するが,その効果はより大きくラベル付けされたデータセットで減少することがわかった。 さらに、LSMを使用して応答を生成し、それから弱ラベル付けすることで、好みデータを拡張できる有望な方法を提供する。

関連論文リスト

• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
  本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。 全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
  論文  参考訳（メタデータ） (2024-09-10T22:57:58Z)
• Progressively Label Enhancement for Large Language Model Alignment [42.01694160556464]
  大きな言語モデル(LLM)のアライメントは、モデルが人間の期待に反するコンテンツを生成するのを防ぐことを目的としている。 生成したデータの進化的品質に基づいてモデルのトレーニングプロセスを動的に調整するフレームワークであるPLEを提案する。
  論文  参考訳（メタデータ） (2024-08-05T16:21:17Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• Prototypical Reward Network for Data-Efficient RLHF [17.220998116937444]
  RLHF(Reinforcement Learning from Human Feedback)の報奨モデルが大規模言語モデル(LLM)の微調整に有効であることが証明された。 提案するフレームワークであるProto-RMは,人間からのフィードバックに制限された報酬モデルを改善するために,プロトタイプネットワークを活用している。
  論文  参考訳（メタデータ） (2024-06-06T15:23:30Z)
• Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
  強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。 学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。 本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
  論文  参考訳（メタデータ） (2024-01-29T17:43:42Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。