論文の概要: The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

• arxiv url: http://arxiv.org/abs/2301.13688v1
• Date: Tue, 31 Jan 2023 15:03:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 16:11:11.443851
• Title: The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
• Title（参考訳）: Flanコレクション:効果的なインストラクションチューニングのためのデータと方法の設計
• Authors: Shayne Longpre, Le Hou, Tu Vu, Albert Webson, Hyung Won Chung, Yi Tay, Denny Zhou, Quoc V. Le, Barret Zoph, Jason Wei, Adam Roberts
• Abstract要約: 本研究は,Flan 2022の開発を壊し,一般公開された指導チューニング手法の設計決定について検討する。 タスクバランスやエンリッチメントの手法は見過ごされがちだが、効果的な指導チューニングには不可欠である。 インストラクションチューニングの研究を加速するために、データセット、テンプレート、メソッドのFlan 2022コレクションを公開しています。
• 参考スコア（独自算出の注目度）: 118.70716915295091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the design decisions of publicly available instruction tuning methods, and break down the development of Flan 2022 (Chung et al., 2022). Through careful ablation studies on the Flan Collection of tasks and methods, we tease apart the effect of design decisions which enable Flan-T5 to outperform prior work by 3-17%+ across evaluation settings. We find task balancing and enrichment techniques are overlooked but critical to effective instruction tuning, and in particular, training with mixed prompt settings (zero-shot, few-shot, and chain-of-thought) actually yields stronger (2%+) performance in all settings. In further experiments, we show Flan-T5 requires less finetuning to converge higher and faster than T5 on single downstream tasks, motivating instruction-tuned models as more computationally-efficient starting checkpoints for new tasks. Finally, to accelerate research on instruction tuning, we make the Flan 2022 collection of datasets, templates, and methods publicly available at https://github.com/google-research/FLAN/tree/main/flan/v2.
• Abstract（参考訳）: 公開利用可能な命令チューニング手法の設計決定について検討し,flan 2022 (chung et al., 2022) の開発を分解した。 タスクとメソッドのFlanコレクションに関する綿密なアブレーション研究を通じて、Flan-T5が事前作業よりも3-17%以上向上する設計決定の効果を、評価設定で区別する。 タスクバランスとエンリッチメントのテクニックは見過ごされが、効果的なチューニングチューニングには重要であり、特に、混合プロンプト設定(ゼロショット、少数ショット、チェーンオブ思想)によるトレーニングでは、すべての設定において、より強い(2%以上)パフォーマンスが得られることが分かっています。 さらなる実験では、Flan-T5は単一下流タスクにおいてT5よりも高速に収束するために微調整を少なくし、新しいタスクのより計算効率の良い開始チェックポイントとして命令調整されたモデルを動機付けている。 最後に、命令チューニングの研究を加速するために、Flan 2022のデータセット、テンプレート、メソッドのコレクションをhttps://github.com/google-research/FLAN/tree/main/flan/v2で公開しています。

関連論文リスト

• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning [50.75534397373867]
  100B未満のパラメータを持つ言語モデル(LM)は、チェーン・オブ・ソート(CoT)の推論では不十分であることが知られている。 本研究は,CoTの有理量を用いた命令チューニングにより,段階的推論機能を備えた小型LMを実現することを目的とする。
  論文  参考訳（メタデータ） (2023-05-23T13:14:59Z)
• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)
• Scaling Instruction-Finetuned Language Models [126.4789306516927]
  命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。 命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-20T16:58:32Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。