論文の概要: Becoming self-instruct: introducing early stopping criteria for minimal
instruct tuning
- arxiv url: http://arxiv.org/abs/2307.03692v1
- Date: Wed, 5 Jul 2023 09:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 12:02:41.267356
- Title: Becoming self-instruct: introducing early stopping criteria for minimal
instruct tuning
- Title(参考訳): セルフインストラクション:最小インストラクションチューニングの早期停止基準の導入
- Authors: Waseem AlShikh and Manhal Daaboul and Kirk Goddard and Brock Imel and
Kiran Kamble and Parikshith Kulkarni and Melisa Russak
- Abstract要約: Instruction following Score (IFS, Instruction following Score) は、言語モデルの指示に従う能力を検出するメトリクスである。
利用可能なベースモデルとインストラクタモデルをベンチマークし, 部分文と完全文との整形応答の比率が有効であることを示す。
IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA model。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce the Instruction Following Score (IFS), a metric
that detects language models' ability to follow instructions. The metric has a
dual purpose. First, IFS can be used to distinguish between base and instruct
models. We benchmark publicly available base and instruct models, and show that
the ratio of well formatted responses to partial and full sentences can be an
effective measure between those two model classes. Secondly, the metric can be
used as an early stopping criteria for instruct tuning. We compute IFS for
Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models
learn to follow instructions relatively early in the training process, and the
further finetuning can result in changes in the underlying base model
semantics. As an example of semantics change we show the objectivity of model
predictions, as defined by an auxiliary metric ObjecQA. We show that in this
particular case, semantic changes are the steepest when the IFS tends to
plateau. We hope that decomposing instruct tuning into IFS and semantic factors
starts a new trend in better controllable instruct tuning and opens
possibilities for designing minimal instruct interfaces querying foundation
models.
- Abstract(参考訳): 本稿では,言語モデルの指示に従う能力を検出する指標であるIFS(Instruction following Score)を紹介する。
計量は二重目的を持つ。
まず、IFSはベースモデルとインストラクションモデルの区別に使うことができる。
公開ベースとインストラクションモデルのベンチマークを行い,部分文と全文に対する応答の比率が,これら2つのモデルクラス間で効果的な尺度となることを示す。
第二に、メトリックはインストラクションチューニングの早期停止基準として使用できる。
7bと13bのllamaモデルの教師付き微調整(sft)のためのifを計算し、訓練プロセスの比較的早い段階で、モデルが命令に従うことを学び、さらに微調整することで基礎となるベースモデルのセマンティクスが変化することを示します。
意味論の変化の例として、補助計量ObjecQAで定義されるモデル予測の客観性を示す。
このケースでは、IFSが高位になる傾向にある場合、意味変化が最も急激であることを示す。
IFSとセマンティックファクタへのインストラクションの分解が、制御しやすいインストラクションチューニングの新たなトレンドに始まり、基盤モデルをクエリする最小のインストラクションインターフェースを設計する可能性を開くことを願っている。
関連論文リスト
- From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳(メタデータ) (2022-05-10T19:32:20Z) - Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。
CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。
本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
論文 参考訳(メタデータ) (2022-01-13T21:38:33Z) - Influence Tuning: Demoting Spurious Correlations via Instance
Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文 参考訳(メタデータ) (2021-10-07T06:59:46Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。