論文の概要: CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF

• arxiv url: http://arxiv.org/abs/2610.21138v1
• Date: Thu, 15 Oct 2026 02:49:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.142515
• Title: CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
• Title（参考訳）: CleanRM: RLHFのためのわずかなクリーンフィードバックによるノイズフィードバックからのリワードモデリング
• Abstract要約: そこで本研究では,サンプル単位の雑音比を最適搬送により校正するためにクリーンフィードバックを利用するCleanRMを提案する。 CleanRMは、ノイズフィードバックから復帰した好みの結合分布をクリーンフィードバックと整合させ、ノイズ補正サロゲート損失を用いて報酬モデルを訓練する。
• 参考スコア（独自算出の注目度）: 28.789686047431008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feedback noise is pervasive in preference data, arising from subjective human judgments, annotation mistakes, and imperfect LLM judges. Standard reward modeling trained on such feedback yields a biased estimate of the clean risk. Although classical denoising methods are directly applicable to noisy feedback learning, they generally assume a uniform noise ratio across samples. However, this assumption fails for feedback data, where noise is intrinsically sample-wise. To address this challenge, we propose CleanRM, which uses a few clean feedback to calibrate sample-wise noise ratios via optimal transport. Specifically, CleanRM aligns the joint distribution of preferences reverted from noisy feedback with that of clean feedback and then trains the reward model using a noise-corrected surrogate loss. Theoretically, we prove that the resulting objective is unbiased with respect to the clean risk. Extensive experiments demonstrate that CleanRM outperforms state-of-the-art denoising baselines and yields more effective downstream RLHF alignment.
• Abstract（参考訳）: フィードバックノイズは、主観的な人間の判断、アノテーションのミス、不完全なLLM判断から生じる嗜好データに広まっています。 このようなフィードバックに基づいてトレーニングされた標準報酬モデリングは、クリーンリスクのバイアス付き見積もりをもたらす。 古典的復調法は雑音フィードバック学習に直接適用できるが、一般にサンプル間で均一な雑音比を仮定する。 しかし、この仮定は、ノイズが本質的にサンプリングされるフィードバックデータには当てはまらない。 この課題に対処するために,サンプル単位の雑音比を最適輸送により調整するためにクリーンフィードバックを利用するCleanRMを提案する。 具体的には、ノイズフィードバックから復帰した好みの結合分布をクリーンフィードバックと整合させ、ノイズ補正サロゲート損失を用いて報酬モデルを訓練する。 理論的には、クリーンリスクに関して結果の目的が不偏であることを証明する。 大規模な実験により、CleanRMは最先端のデノイングベースラインより優れ、下流のRLHFアライメントがより効果的であることが示された。

関連論文リスト

• Unbiased Alignment for Large Language Models with Noisy Preferences [74.69408994904965]
  本稿では,Unbiased Reward Model(URM)損失とUnbiased Direct Preference Optimization(UDPO)損失を導入した非バイアスアライメントの理論的枠組みを提案する。 好み雑音によって引き起こされる歪みを数学的に補正することにより、我々の新しい目的はノイズの多いデータセットから直接バイアスのないモデルトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-07-03T12:04:43Z)
• CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks [65.44788139573144]
  我々は、スケーラブルで費用対効果の高い代替手段として、観察的報酬モデル(観察的ユーザフィードバックを伴う報酬モデル)を導入します。 CaulRMは、観察フィードバックから偏見のない報酬モデルを学ぶことを目指している。 実験では、CausalRMがノイズや偏りのある観測フィードバックから正確な報酬信号を効果的に学習することを検証する。
  論文  参考訳（メタデータ） (2026-03-19T10:37:34Z)
• Flow Matching based Sequential Recommender Model [54.815225661065924]
  本研究では,フローマッチングに基づくフローマッチングモデルであるFMRecを紹介する。 FMRecは最先端の手法よりも平均6.53%改善している。
  論文  参考訳（メタデータ） (2025-05-22T06:53:03Z)
• Double Correction Framework for Denoising Recommendation [45.98207284259792]
  暗黙のフィードバックでは、ノイズの多いサンプルが正確なユーザの好みの学習に影響を与える可能性がある。 一般的なソリューションは、モデルトレーニングフェーズでノイズの多いサンプルをドロップすることに基づいている。 提案手法では,勧告を記述するための二重補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-18T12:15:10Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。