論文の概要: I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses

• arxiv url: http://arxiv.org/abs/2402.11192v3
• Date: Fri, 04 Oct 2024 04:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:08:20.523749
• Title: I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses
• Title（参考訳）: 私の言葉を話せば、私はより良く学ぶ: LLM生成された応答を持つ微調整大言語モデルの上層的性能を理解する
• Authors: Xuan Ren, Biao Wu, Lingqiao Liu,
• Abstract要約: LLMによって生成された応答で大きな言語モデル(LLM)を微調整すると、特に推論タスクにおいて、人間によって生成された応答を使用するよりも良い結果が得られることが多い。 LLM生成応答によるトレーニングは、パフォーマンスの向上だけでなく、特定のタスクを微調整した後の他の推論タスクにおけるモデルの能力維持にも役立ちます。
• 参考スコア（独自算出の注目度）: 23.053791342294268
• License:
• Abstract: This paper explores an intriguing observation: fine-tuning a large language model (LLM) with responses generated by a LLM often yields better results than using responses generated by humans, particularly in reasoning tasks. We conduct an in-depth investigation to understand why this occurs. Contrary to the common belief that these instances is due to the more detailed nature of LLM-generated content, our study identifies another contributing factor: an LLM is inherently more "familiar" with LLM generated responses. This familiarity is evidenced by lower perplexity before fine-tuning. We design a series of experiments to understand the impact of the "familiarity" and our conclusion reveals that this "familiarity" significantly impacts learning performance. Training with LLM-generated responses not only enhances performance but also helps maintain the model's capabilities in other reasoning tasks after fine-tuning on a specific task.
• Abstract（参考訳）: 大規模言語モデル(LLM)をLLMで生成した応答を微調整すると、人間による応答、特に推論タスクで生成した応答よりも良い結果が得られます。 我々は、なぜこのようなことが起こるのかを理解するために、徹底的な調査を行っている。 これらの事例は、LLM生成内容のより詳細な性質によるものであるという一般的な信念とは対照的に、本研究では、LLMは本来、LLM生成応答と「親しみやすい」ものである、という別の要因を特定した。 この親密さは微調整の前に低い難易度によって証明される。 我々は,この「親しみ」の影響を理解するために一連の実験を設計し,この「親しみ」が学習性能に大きく影響することを明らかにする。 LLM生成応答によるトレーニングは、パフォーマンスの向上だけでなく、特定のタスクを微調整した後の他の推論タスクにおけるモデルの能力維持にも役立ちます。

関連論文リスト

• Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style [13.968658352075334]
  記憶力とエビデンス提示が外的エビデンスに対するLarge Language Modelsの受容性に及ぼす影響について検討する。 メモリの強度が高い問題では、特に GPT-4 のようなより大きな LLM では LLM は内部メモリに依存しやすい。
  論文  参考訳（メタデータ） (2024-09-17T07:44:06Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
  本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。 因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-07-29T01:45:05Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
  大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。 それにもかかわらず、一般的な事実に支えられた単純な質問をタスクすると、LCMは一貫性のある正確な答えを提供しないことが多い。 このことは、LSMが真に推論しているのか、単に記憶しているだけなのか、という活発な議論を引き起こしている。
  論文  参考訳（メタデータ） (2024-03-14T04:06:13Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• TinyLLM: Learning a Small Student from Multiple Large Language Models [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models [17.322480769274062]
  大規模言語モデル(LLM)は、多くの自然言語処理(NLP)タスクにおいてほぼ飽和した性能を示している。 本稿では,LLMの時間的理解と推論能力を評価するために,合計2,853個のサンプルを用いた多感性因子時間QA(MenatQA)を構築した。
  論文  参考訳（メタデータ） (2023-10-08T13:19:52Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。