論文の概要: Exploring Format Consistency for Instruction Tuning

• arxiv url: http://arxiv.org/abs/2307.15504v1
• Date: Fri, 28 Jul 2023 12:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 12:32:27.151463
• Title: Exploring Format Consistency for Instruction Tuning
• Title（参考訳）: 命令チューニングのためのフォーマット一貫性の探求
• Authors: Shihao Liang, Kunlun Zhu, Runchu Tian, Yujia Qin, Huadong Wang, Xin Cong, Zhiyuan Liu, Xiaojiang Liu, Maosong Sun
• Abstract要約: 書式不整合が命令チューニングの性能に与える影響について検討する。 我々は,OpenAI APIを自動フォーマット転送に使用する"Unified Instruction Tuning"(UIT)というフレームワークを提案する。 UITフレームワークをより実用的なものにするために、自動フォーマット転送のノイズを低減するために、新しいパープレキシティに基づく復調法を提案する。
• 参考スコア（独自算出の注目度）: 69.39250099559885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning has emerged as a promising approach to enhancing large language models in following human instructions. It is shown that increasing the diversity and number of instructions in the training data can consistently enhance generalization performance, which facilitates a recent endeavor to collect various instructions and integrate existing instruction tuning datasets into larger collections. However, different users have their unique ways of expressing instructions, and there often exist variations across different datasets in the instruction styles and formats, i.e., format inconsistency. In this work, we study how format inconsistency may impact the performance of instruction tuning. We propose a framework called "Unified Instruction Tuning" (UIT), which calls OpenAI APIs for automatic format transfer among different instruction tuning datasets. We show that UIT successfully improves the generalization performance on unseen instructions, which highlights the importance of format consistency for instruction tuning. To make the UIT framework more practical, we further propose a novel perplexity-based denoising method to reduce the noise of automatic format transfer. We also train a smaller offline model that achieves comparable format transfer capability than OpenAI APIs to reduce costs in practice.
• Abstract（参考訳）: 命令チューニングは、人間の指示に従う大きな言語モデルを強化するための有望なアプローチとして現れてきた。 トレーニングデータにおける多様性と命令数の増加は、連続的に一般化性能を高め、最近の取り組みにより、様々な命令を収集し、既存の命令チューニングデータセットをより大きなコレクションに統合することが可能になる。 しかし、異なるユーザは独自の命令の表現方法を持っており、命令スタイルやフォーマット、すなわちフォーマットの矛盾など、さまざまなデータセットにまたがるバリエーションが存在することが多い。 本研究では,フォーマットの不整合が命令チューニングの性能に与える影響について検討する。 我々は,異なる命令チューニングデータセット間で自動フォーマット転送を行うために,OpenAI APIをコールする"Unified Instruction Tuning"(UIT)というフレームワークを提案する。 UITは,命令チューニングにおけるフォーマット整合性の重要性を強調し,未知の命令に対する一般化性能の向上に成功していることを示す。 uitフレームワークをより実用的なものにするため,我々はさらに,自動フォーマット転送のノイズを低減するための新しいパープレキシティに基づくデノージング手法を提案する。 また、実際にコストを削減するために、OpenAI APIと同等のフォーマット転送機能を実現する、より小さなオフラインモデルをトレーニングしています。

関連論文リスト

• Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models [45.139087558425395]
  複数のクライアントが共同で共有大言語モデル(LLM)を微調整できるフェデレート・インストラクション・チューニング 既存の文献では、すべてのクライアントが命令チューニングデータを簡単に保持する必要がある。 本稿では,非構造化コーパスをフェデレートした命令チューニングのための構造化データに変換する新しいフレームワークであるFedIT-U2Sを提案する。
  論文  参考訳（メタデータ） (2024-09-11T09:31:44Z)
• MMInstruct: A High-Quality Multi-Modal Instruction Tuning Dataset with Extensive Diversity [80.02202386597138]
  高品質で多様な視覚指導訓練データセットMMInstructを構築し、24ドメインの973K命令で構成されている。 提案する命令生成エンジンは,手作業のコストで半自動,低コスト,マルチドメインの命令生成を可能にする。
  論文  参考訳（メタデータ） (2024-07-22T17:55:22Z)
• Phased Instruction Fine-Tuning for Large Language Models [12.037895935630882]
  Phased IFT(Phased Instruction Fine-Tuning)を提案する。 GPT-4を用いて命令の難易度を評価し、命令データを難易度の高いサブセットに分割し、これらのサブセット上でモデルを逐次訓練する。 アルパカデータを用いたLlama-2 7B/13B/70B、Llama3 8/70B、Mistral-7Bモデルによる実験では、フェーズドIFTは1オフIFTよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-06-01T04:25:26Z)
• Mosaic-IT: Free Compositional Data Augmentation Improves Instruction Tuning [30.82220015525281]
  モザイクインストラクションチューニング(Mosaic Instruction Tuning、モザイクインストラクションチューニング、Mosaic-IT)は、人間/モデルなしのコンポジションデータ拡張手法である。 Mosaic-ITは、既存の命令チューニングデータから、ランダムにリッチで多様な拡張を生成する。 評価の結果,モザイクITの性能と訓練効率が向上した。
  論文  参考訳（メタデータ） (2024-05-22T04:08:20Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)
• Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation [92.2167864437497]
  インストラクションチューニングデータの自動キュレーションのための動的成長パラダイムであるDynosaurを提案する。 既存のデータセットのメタデータに基づいて、LLMを使用して、関連するデータフィールドを特定し、適切な命令を生成することで、命令調整データを自動的に構築する。 既存のアノテートデータセットを活用することで、Dynosaurには、命令を生成するためのAPIコストを削減すること、命令チューニングのための高品質なデータを提供すること、新しいアノテートデータセットが利用可能になったときに、命令チューニングデータを生成することで、モデルの継続的な改善をサポートすること、など、いくつかのメリットがある。
  論文  参考訳（メタデータ） (2023-05-23T17:56:26Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models [80.03815493269522]
  GrIPSは、大規模言語モデルのタスク命令を改善するための、勾配のない編集ベースの検索手法である。 InstructGPTモデルでは、GrIPSは8つの分類タスクの平均タスク性能を最大4.30ポイント改善する。 編集は命令を単純化し、時には不整合化しますが、それでも精度は向上します。
  論文  参考訳（メタデータ） (2022-03-14T16:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。