Fugu-MT 論文翻訳(概要): Instruction Tuning With Loss Over Instructions

論文の概要: Instruction Tuning With Loss Over Instructions

arxiv url: http://arxiv.org/abs/2405.14394v2
Date: Wed, 02 Oct 2024 20:36:11 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-04 17:53:02.280288
Title: Instruction Tuning With Loss Over Instructions
Title（参考訳）: インストラクションによる損失を考慮したインストラクションチューニング
Authors: Zhengyan Shi, Adam X. Yang, Bin Wu, Laurence Aitchison, Emine Yilmaz, Aldo Lipani,
Abstract要約: インストラクション・モデリング(IM)は、出力部のみではなく、インストラクションとプロンプト部に損失関数を適用してLMを訓練する。多くのシナリオにおいて、IMはNLPタスクとオープン・エンド・ジェネレーション・ベンチマークの両方でのLM性能を効果的に改善できることを示す。注目すべきは、最も有利な場合、IMはAlpacaEval 1.0のモデルパフォーマンスを100%以上向上させることだ。
参考スコア（独自算出の注目度）: 42.9106826952674
License:
Abstract: Instruction tuning plays a crucial role in shaping the outputs of language models (LMs) to desired styles. In this work, we propose a simple yet effective method, Instruction Modelling (IM), which trains LMs by applying a loss function to the instruction and prompt part rather than solely to the output part. Through experiments across 21 diverse benchmarks, we show that, in many scenarios, IM can effectively improve the LM performance on both NLP tasks (e.g., MMLU, TruthfulQA, and HumanEval) and open-ended generation benchmarks (e.g., MT-Bench and AlpacaEval). Remarkably, in the most advantageous case, IM boosts model performance on AlpacaEval 1.0 by over 100%. We identify two key factors influencing the effectiveness of IM: (1) The ratio between instruction length and output length in the training data; and (2) The number of training examples. We observe that IM is especially beneficial when trained on datasets with lengthy instructions paired with brief outputs, or under the Superficial Alignment Hypothesis (SAH) where a small amount of training examples are used for instruction tuning. Further analysis substantiates our hypothesis that our improvement can be attributed to reduced overfitting to instruction tuning datasets. It is worth noting that we are not proposing \ours as a replacement for current fine-tuning processes. Instead, our work aims to provide practical guidance for instruction tuning LMs, especially in low-resource scenarios.
Abstract（参考訳）: インストラクションチューニングは、言語モデル(LM)の出力を望ましいスタイルに変換する上で重要な役割を果たす。本研究では,命令とプロンプトに損失関数を適用してLMを訓練する,シンプルで効果的な手法であるインストラクション・モデリング(IM)を提案する。 NLPタスク(例えば、MMLU、TruthfulQA、HumanEval)とオープン・エンド・ジェネレーション・ベンチマーク(例えば、MT-Bench、AlpacaEval)の両方において、IMがLM性能を効果的に向上できることを示す。注目すべきは、最も有利な場合、IMはAlpacaEval 1.0のモデルパフォーマンスを100%以上向上させることだ。本研究では,IMの有効性に影響を与える2つの要因を同定する。(1)トレーニングデータにおける命令長と出力長の比率,(2)トレーニング例の数。短時間の出力と組み合わせた長い命令を持つデータセットや、少量のトレーニング例を指導訓練に用いたSAH(Superficial Alignment hypothesis)において、IMは特に有益である。さらなる分析は、我々の改善はチューニングデータセットへの過剰適合の低減に起因するという仮説を裏付けるものである。注意すべき点は、現在の微調整プロセスの代替として、‘ours’を提案していないことです。本研究の目的は,特に低リソースシナリオにおいて,LMのチューニングを指導するための実践的なガイダンスを提供することである。

関連論文リスト

DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models [11.77848664657788]
命令のチューニングは、モデルが新しい知識や能力を得るのではなく、特定のタスク形式に適合するプロセスであることを示す。この制限は, タスク固有の特徴と異なる, 命令チューニング中に学習した偏りのある特徴に起因していると考えられる。我々は,新たなデータ合成手法であるDELIAを用いて,命令チューニングにおけるバイアスのある特徴を理想的な特徴の近似に変換する。
論文参考訳（メタデータ） (2024-08-19T17:56:06Z)
Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models [34.13519934563742]
現代言語モデル(LM)は忠実でありながら人間の指示に従う必要があることを示す。 ReSet(Continuousd Self-Instruction Tuning)におけるリジェクションサンプリングを利用した簡易かつ効果的な手法を提案する。高品質なReSetをトレーニングするほど、より少ないデータ(3倍少ないデータ)が優れた結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2024-07-31T08:05:04Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants [28.691691883519542]
複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する手法を導入する。 DeMoReconに基づくFGIVデータセットは,1,773個のシード命令の微粒化を含む。以上の結果から,FGIVを微調整したLDMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
論文参考訳（メタデータ） (2024-06-17T08:08:11Z)
Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning [13.535110749767451]
キーパート情報ゲイン(KPIG)に基づく新しい連続的命令チューニング手法を提案する。本手法は,マスク部分の情報ゲインを計算し,データを動的に再生し,トレーニング対象を洗練させる。実験により,本手法は観察タスクと保留タスクの両方において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-03-15T06:54:20Z)
Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。我々は「反射チューニング」と呼ばれる新しい手法を提案する。このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
論文参考訳（メタデータ） (2023-10-18T05:13:47Z)
Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文参考訳（メタデータ） (2023-08-23T12:36:57Z)
Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
論文参考訳（メタデータ） (2023-06-01T07:00:07Z)
LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文参考訳（メタデータ） (2023-05-17T15:53:31Z)
Boosting Natural Language Generation from Instructions with Meta-Learning [43.64522457686405]
最近の研究によると、言語モデル(LM)はマルチタスクで訓練されている。 Textitinstructional Learning (MTIL) は多様なNLPを解くことができる。即時チューニングよりもパフォーマンスが向上したタスク。本稿では,MTILに適用したメタラーニングが,ゼロショット設定における未確認タスクへの一般化をさらに改善できるかどうかを検討する。
論文参考訳（メタデータ） (2022-10-20T22:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。