論文の概要: Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization

• arxiv url: http://arxiv.org/abs/2403.03419v2
• Date: Mon, 30 Sep 2024 04:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:40.797251
• Title: Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization
• Title（参考訳）: 負陰性:分布的参照最適化によるヒト陰性サンプルとのアライメント
• Authors: Shitong Duan, Xiaoyuan Yi, Peng Zhang, Yan Liu, Zheng Liu, Tun Lu, Xing Xie, Ning Gu,
• Abstract要約: 大規模言語モデル(LLM)は、AIの役割に革命をもたらしたが、潜在的な社会的リスクをもたらしている。 既存の方法は高品質な正負の訓練ペアに依存しており、ノイズの多い正の反応に悩まされており、負の反応とほとんど区別できない。 本稿では,非参照応答と生成した非負応答との差を最大化する分散参照最適化(D$2$O)を提案する。
• 参考スコア（独自算出の注目度）: 37.8788435790632
• License:
• Abstract: Large language models (LLMs) have revolutionized the role of AI, yet pose potential social risks. To steer LLMs towards human preference, alignment technologies have been introduced and gained increasing attention. Nevertheless, existing methods heavily rely on high-quality positive-negative training pairs, suffering from noisy positive responses that are barely distinguishable from negative ones. Given recent LLMs' proficiency in generating helpful responses, this work pivots towards a new research question: can we achieve alignment using solely human-annotated negative samples, preserving helpfulness while reducing harmfulness? For this purpose, we propose Distributional Dispreference Optimization (D$^2$O), which maximizes the discrepancy between dispreferred responses and the generated non-negative ones. In this way, D$^2$O effectively eschews harmful information without incorporating noisy positive samples, while avoiding collapse using self-generated responses as anchors. We demonstrate that D$^2$O can be regarded as learning a distributional preference model reflecting human dispreference against negative responses, which is theoretically an upper bound of the instance-level DPO. Extensive experiments manifest that our method achieves comparable generation quality and surpasses the latest strong baselines in producing less harmful and more informative responses with better training stability and faster convergence.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、AIの役割に革命をもたらしたが、潜在的な社会的リスクをもたらしている。 LLMを人間の嗜好に向かわせるために、アライメント技術が導入され、注目を集めている。 それにもかかわらず、既存の方法は高品質な正負のトレーニングペアに大きく依存しており、負のトレーニングペアとほとんど区別できないうるうるさいポジティブな反応に悩まされている。 この研究は、人間だけの陰性サンプルを用いてアライメントを達成でき、有害性を抑えつつ、有用性を維持することができるのか? そこで本研究では,非参照応答と生成した非負応答との差を最大化する分散参照最適化(D$^2$O)を提案する。 このようにして、D$^2$Oは、ノイズの多い正のサンプルを組み込まずに、自己生成応答をアンカーとして破壊を避けながら、有害情報を効果的に除去する。 我々は、D$^2$Oが、理論的にはインスタンスレベルのDPOの上界である負の反応に対する人間の軽視を反映した分布選好モデルを学ぶことができることを示した。 大規模実験により,本手法はより優れたトレーニング安定性とより高速なコンバージェンスを備えた,より有害でより情報性の高い応答を生み出す上で,最強のベースラインを超越した生成品質を達成できることが判明した。

関連論文リスト

• Refining Positive and Toxic Samples for Dual Safety Self-Alignment of LLMs with Minimal Human Interventions [17.485655062129965]
  近年のAIエージェントは、大規模言語モデル(LLM)の出力を人間の意図で調整するために、命令チューニングと強化学習に依存している。 PT-ALIGN(PT-ALIGN)は,ヒトの健康管理を最小化するための安全自己調整手法である。 PT-ALIGNの安全性向上に有効であると同時に,有用性と有用性の両面を両立させながら,9つのオープンソース LLM 実験を行った。
  論文  参考訳（メタデータ） (2025-02-08T09:54:47Z)
• SyNeg: LLM-Driven Synthetic Hard-Negatives for Dense Retrieval [45.971786380884126]
  Dense Search (DR) の性能は, 陰性サンプリングの品質に大きく影響される。 大規模言語モデル(LLM)の最近の進歩は、文脈的にリッチで多様な負のサンプルを生成することで革新的なソリューションを提供する。 本研究では,LLMを用いて高品質な硬質負のサンプルを合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:49:00Z)
• Negative-Prompt-driven Alignment for Generative Language Model [34.191590966148816]
  本稿では,言語モデルが望ましくない行動から遠ざかるように,NEGative-prompt-driven AlignmenTを提案する。 NEATは有害なアウトプットを生成するためのモデルを明確に罰し、望ましい行動だけでなく、望ましくない偏見のある反応を発生させないよう仕向けている。 大規模な実験により、NEATは言語モデルと人間の価値観と嗜好との整合性を著しく向上させる効果を検証した。
  論文  参考訳（メタデータ） (2024-10-16T03:30:09Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• Negative Sampling for Recommendation [7.758275614033198]
  高品質なネガティブなインスタンスを効果的にサンプルする方法は、レコメンデーションモデルを適切にトレーニングするために重要である。 我々は、高品質なネガティブは、テクスチュンフォームネスとテクスチュンバイアスネスの両方であるべきだと論じる。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Mixture Proportion Estimation and PU Learning: A Modern Approach [47.34499672878859]
  正の例とラベルなしの例のみを考えると、正逆負の正の正の分類器を正確に見積もることを望むかもしれない。 両方の問題の古典的な方法は、高次元の設定で分解される。 BBE(Best Bin Estimation)とCVIR(Value Ignoring Risk)の2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-11-01T14:42:23Z)
• Towards Overcoming False Positives in Visual Relationship Detection [95.15011997876606]
  視覚的関係検出(VRD)における偽陽性率の高い原因について検討する。 本稿では,偽陽性の影響を軽減する堅牢なVRDフレームワークとして,Spatially-Aware Balanced negative pRoposal sAmpling(SABRA)を提案する。
  論文  参考訳（メタデータ） (2020-12-23T06:28:00Z)
• NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition [78.21084529159577]
  我々は、トレーニングを改善するために、ハードサンプルのより良い利用方法を研究する。 強正と強負の相関は見過ごされ、正と負のロジットのマージンの関係も見過ごされる。 我々はNPCFaceと呼ばれる新規な負の正の協調的損失を提案し、これは負のハードケースと正のハードケースの両方のトレーニングを強調している。
  論文  参考訳（メタデータ） (2020-07-20T14:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。