論文の概要: Show Me How It's Done: The Role of Explanations in Fine-Tuning Language Models

• arxiv url: http://arxiv.org/abs/2402.07543v1
• Date: Mon, 12 Feb 2024 10:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 14:41:56.413632
• Title: Show Me How It's Done: The Role of Explanations in Fine-Tuning Language Models
• Title（参考訳）: 微調整言語モデルにおける説明の役割
• Authors: Mohamad Ballout, Ulf Krumnack, Gunther Heidemann and Kai-Uwe Kuehnberger
• Abstract要約: 言語モデルの性能を向上させるために,説明付き微調整を用いることによる重要な利点を示す。 私たちは、6000万のパラメータしか持たない小さな言語モデルでさえ、このアプローチからかなり恩恵を受けていることに気付きました。
• 参考スコア（独自算出の注目度）: 0.45060992929802207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our research demonstrates the significant benefits of using fine-tuning with explanations to enhance the performance of language models. Unlike prompting, which maintains the model's parameters, fine-tuning allows the model to learn and update its parameters during a training phase. In this study, we applied fine-tuning to various sized language models using data that contained explanations of the output rather than merely presenting the answers. We found that even smaller language models with as few as 60 million parameters benefited substantially from this approach. Interestingly, our results indicated that the detailed explanations were more beneficial to smaller models than larger ones, with the latter gaining nearly the same advantage from any form of explanation, irrespective of its length. Additionally, we demonstrate that the inclusion of explanations enables the models to solve tasks that they were not able to solve without explanations. Lastly, we argue that despite the challenging nature of adding explanations, samples that contain explanations not only reduce the volume of data required for training but also promote a more effective generalization by the model. In essence, our findings suggest that fine-tuning with explanations significantly bolsters the performance of large language models.
• Abstract（参考訳）: 本研究は,言語モデルの性能向上のために,説明付き微調整を用いることの意義を示す。 モデルのパラメータを保持するプロンプトとは異なり、微調整により、トレーニングフェーズ中にモデルのパラメータを学習して更新することができる。 本研究では,結果の提示ではなく,結果の説明を含むデータを用いて,様々な大きさの言語モデルに微調整を適用した。 パラメータが6000万にも満たない小さな言語モデルでさえ、このアプローチのメリットは大きいことが分かりました。 興味深いことに, 詳細な説明は大型モデルよりも小型モデルにとって有益であり, 後者は長さに関係なく, あらゆる形態の説明からほぼ同じ利点を得た。 さらに,説明文を含めることで,説明なしでは解決できない課題をモデルが解決できることを実証する。 最後に、説明を加えるという難しい性質にもかかわらず、説明を含むサンプルは、訓練に必要なデータ量を減らすだけでなく、モデルによるより効果的な一般化を促進する。 以上の結果から,説明を伴う微調整が大規模言語モデルの性能を著しく向上させることが示唆された。

関連論文リスト

• The Effect of Model Size on LLM Post-hoc Explainability via LIME [1.1073658091405039]
  本研究では,自然言語推論タスクにおける4つの異なるサイズのDeBERTaV3モデルのLIME説明について検討する。 モデルの内部決定プロセスへの忠実度と妥当性に基づいて,これらの説明を評価する。 重要な発見は、モデルサイズの増加はモデル性能の改善にもかかわらず、可視性と相関しないということである。
  論文  参考訳（メタデータ） (2024-05-08T18:27:20Z)
• Learning with Explanation Constraints [91.23736536228485]
  我々は、説明がモデルの学習をどのように改善するかを分析するための学習理論フレームワークを提供する。 我々は,多数の合成および実世界の実験に対して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T15:06:47Z)
• ExaRanker: Explanation-Augmented Neural Ranker [67.4894325619275]
  本研究は,ニューラルランサーが説明の恩恵を受けることを示す。 我々は、GPT-3.5のようなLCMを用いて、説明付き検索データセットを増強する。 ExaRankerと呼ばれる私たちのモデルは、数千の例で微調整され、合成説明は、説明なしで3倍の例で微調整されたモデルと同等に実行される。
  論文  参考訳（メタデータ） (2023-01-25T11:03:04Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• Can language models learn from explanations in context? [21.67788893486215]
  大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。
  論文  参考訳（メタデータ） (2022-04-05T16:33:44Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。