論文の概要: How much do LLMs learn from negative examples?

• arxiv url: http://arxiv.org/abs/2503.14391v1
• Date: Tue, 18 Mar 2025 16:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:39.999791
• Title: How much do LLMs learn from negative examples?
• Title（参考訳）: LLMはネガティブな例からどの程度学べますか?
• Authors: Shadi Hamdan, Deniz Yuret,
• Abstract要約: 大規模な言語モデルが否定的な例にさらされるのは最終段階である。 本稿では,LLMのトレーニングにおける負の例の役割について考察する。
• 参考スコア（独自算出の注目度）: 2.510320860734906
• License:
• Abstract: Large language models (LLMs) undergo a three-phase training process: unsupervised pre-training, supervised fine-tuning (SFT), and learning from human feedback (RLHF/DPO). Notably, it is during the final phase that these models are exposed to negative examples -- incorrect, rejected, or suboptimal responses to queries. This paper delves into the role of negative examples in the training of LLMs, using a likelihood-ratio (Likra) model on multiple-choice question answering benchmarks to precisely manage the influence and the volume of negative examples. Our findings reveal three key insights: (1) During a critical phase in training, Likra with negative examples demonstrates a significantly larger improvement per training example compared to SFT using only positive examples. This leads to a sharp jump in the learning curve for Likra unlike the smooth and gradual improvement of SFT; (2) negative examples that are plausible but incorrect (near-misses) exert a greater influence; and (3) while training with positive examples fails to significantly decrease the likelihood of plausible but incorrect answers, training with negative examples more accurately identifies them. These results indicate a potentially significant role for negative examples in improving accuracy and reducing hallucinations for LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、教師なし事前訓練、教師付き微調整(SFT)、人間からのフィードバック(RLHF/DPO)という3段階の訓練プロセスを実行する。 特に、これらのモデルが否定的な例(不正、拒否、クエリに対するサブ最適応答)にさらされるのは最終段階である。 本稿では,LLMの学習における負例の役割について,複数選択質問応答ベンチマークにおける確率比(Likra)モデルを用いて検討し,負例の影響と体積を正確に管理する。 以上の結果から,(1) トレーニングのクリティカルフェーズにおいて, 負例のLikraは, 正例のみを用いて, SFTと比較して, トレーニング例あたりの改善率が有意に大きいことが示唆された。 これは、SFTのスムーズで漸進的な改善とは異なり、リクラの学習曲線の急激な増加につながります。(2) 正の例でトレーニングしても、正の例でトレーニングしても、正の例で学習した場合、正の例で学習した場合、正の例でトレーニングすると、より正確にそれらを特定することができます。 これらの結果から,LSMの精度向上と幻覚の減少に否定的な例が関与する可能性が示唆された。

関連論文リスト

• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data [15.088675135566646]
  大規模言語モデル(LLM)は、様々な推論タスクでうまく機能しているが、それらのアクセシビリティと多くのパラメータは、実際に広範囲の応用を妨げる。 正の試料以外の負の試料でLLMを蒸留するモデル特殊化フレームワークを提案する。 我々は, LLMの蒸留における負データの役割を示すために, 算術的推論タスクにまたがる広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-20T08:28:36Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition [78.21084529159577]
  我々は、トレーニングを改善するために、ハードサンプルのより良い利用方法を研究する。 強正と強負の相関は見過ごされ、正と負のロジットのマージンの関係も見過ごされる。 我々はNPCFaceと呼ばれる新規な負の正の協調的損失を提案し、これは負のハードケースと正のハードケースの両方のトレーニングを強調している。
  論文  参考訳（メタデータ） (2020-07-20T14:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。