Fugu-MT 論文翻訳(概要): Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization

論文の概要: Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization

arxiv url: http://arxiv.org/abs/2604.24952v1
Date: Mon, 27 Apr 2026 19:49:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-29 16:49:17.575809
Title: Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization
Title（参考訳）: 雑音の選好からの学習--直接選好最適化のための半監督学習アプローチ
Abstract要約: 多次元の選好をバイナリラベルに圧縮すると、矛盾する勾配信号が生成されることを示す。一貫性のあるペアをクリーンなラベル付きデータとして扱い、ノイズの多いラベルなしデータとして競合する半教師付きアプローチであるSemi-DPOを提案する。
参考スコア（独自算出の注目度）: 22.08509360975174
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Human visual preferences are inherently multi-dimensional, encompassing aesthetics, detail fidelity, and semantic alignment. However, existing datasets provide only single, holistic annotations, resulting in severe label noise: images that excel in some dimensions but are deficient in others are simply marked as winner or loser. We theoretically demonstrate that compressing multi-dimensional preferences into binary labels generates conflicting gradient signals that misguide Diffusion Direct Preference Optimization (DPO). To address this, we propose Semi-DPO, a semi-supervised approach that treats consistent pairs as clean labeled data and conflicting ones as noisy unlabeled data. Our method starts by training on a consensus-filtered clean subset, then uses this model as an implicit classifier to generate pseudo-labels for the noisy set for iterative refinement. Experimental results demonstrate that Semi-DPO achieves state-of-the-art performance and significantly improves alignment with complex human preferences, without requiring additional human annotation or explicit reward models during training. We will release our code and models at: https://github.com/L-CodingSpace/semi-dpo
Abstract（参考訳）: 人間の視覚的嗜好は本質的に多次元であり、美学、細部への忠実さ、意味的なアライメントを含んでいる。しかし、既存のデータセットは単一で全体論的なアノテーションのみを提供しており、重度なラベルノイズをもたらす:ある次元で排他的だが、他の次元では不十分な画像は、単に勝者または敗者としてマークされる。理論的には、多次元の選好をバイナリラベルに圧縮すると、拡散直接選好最適化(DPO)を誤る競合する勾配信号が生成される。そこで本研究では,一貫したペアをクリーンなラベル付きデータとして扱い,ノイズの多いラベル付きデータとして競合する半教師付きアプローチであるSemi-DPOを提案する。提案手法は,まずコンセンサスフィルタによるクリーンなサブセットのトレーニングから始まり,このモデルを暗黙の分類器として使用し,ノイズセットの擬似ラベルを生成する。実験により,Semi-DPOは,訓練中に付加的な人的アノテーションや明示的な報酬モデルを必要とすることなく,最先端のパフォーマンスを実現し,複雑な人的嗜好との整合性を大幅に向上することが示された。コードとモデルについては、https://github.com/L-CodingSpace/semi-dpoで公開します。

関連論文リスト

Low-Resource Preference Adaptation of LLMs via Activation-Based Label Propagation [6.262888209373497]
言語モデルが、その中間表現における嗜好情報をエンコードする方法について検討する。選択された応答と拒否された応答からのアクティベーションは、事前訓練されたモデルであっても、層をまたいだ異なるクラスタを形成する。この構造を実行し、ラベル付き選好ペアの軽量線形プローブをトレーニングし、それを用いて大きな未ラベルデータセットを注釈付けする。
論文参考訳（メタデータ） (2026-08-31T14:52:19Z)
FedRG: Unleashing the Representation Geometry for Federated Learning with Noisy Clients [36.01783797965344]
フェデレートラーニング(FL)は、分散シナリオにノイズの多いアノテーションが存在するため、パフォーマンスの低下に悩まされる。雑音ラベルを認識するための方法(textbfFederated under textbfRepresentation textbfGemometry)を提案する。
論文参考訳（メタデータ） (2026-03-20T08:01:04Z)
Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision [14.612317970237436]
拡散モデルは、テキスト・ツー・イメージ合成のような生成タスクにおいて印象的な結果を得た。彼らはしばしば、アウトプットを曖昧なユーザ意図と完全に整合させ、一貫した美的品質を維持するのに苦労する。既存の嗜好ベースのトレーニング手法は、これらの問題に対処するのに役立つが、コストが高く、潜在的にノイズの多い人間のデータセットに依存している。
論文参考訳（メタデータ） (2025-12-29T12:46:07Z)
Bridging Weakly-Supervised Learning and VLM Distillation: Noisy Partial Label Learning for Efficient Downstream Adaptation [51.67328507400985]
ノイズ部分ラベル学習(NPLL)では、各トレーニングサンプルは、複数のノイズアノテータによって注釈付けされた候補ラベルのセットに関連付けられている。本稿では、事前学習された視覚言語モデルによって注釈付けされた部分ラベルからの学習に焦点を当てる。革新的な協調整合正則化(Co-Reg)法を提案する。
論文参考訳（メタデータ） (2025-06-03T12:48:54Z)
Smoothed Preference Optimization via ReNoise Inversion for Aligning Diffusion Models with Varied Human Preferences [13.588231827053923]
直接選好最適化(DPO)は、テキスト・ツー・イメージ(T2I)生成モデルと、ペアの選好データを用いた人間の選好を一致させる。本稿では, DPO の目的を改善するために, 好み分布をモデル化する新しい手法である SmPO-Diffusion を提案する。提案手法は,既存手法における過度な最適化と客観的なミスアライメントの問題を効果的に軽減する。
論文参考訳（メタデータ） (2025-06-03T09:47:22Z)
Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
論文参考訳（メタデータ） (2024-09-10T17:54:28Z)
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文参考訳（メタデータ） (2024-06-06T18:01:02Z)
Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文参考訳（メタデータ） (2024-04-26T06:00:27Z)
Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise [4.90148689564172]
実世界のデータセットには、データセットのどのクラスにも意味のないノイズの多いラベルサンプルが含まれている。最先端の手法の多くは、IDラベル付きノイズサンプルを半教師付き学習のためのラベルなしデータとして利用する。自己指導型トレーニングの利点を生かして,すべてのトレーニングデータからの情報を活用することを提案する。
論文参考訳（メタデータ） (2023-08-13T23:33:33Z)
Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。本稿では,生成モデルの観点からラベルノイズ問題を再構成する。我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文参考訳（メタデータ） (2023-05-31T03:01:36Z)
Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
論文参考訳（メタデータ） (2022-08-05T14:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。