論文の概要: Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

• arxiv url: http://arxiv.org/abs/2402.13064v1
• Date: Tue, 20 Feb 2024 15:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 14:56:49.626344
• Title: Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models
• Title（参考訳）: スクラッチからの合成データ(ほぼ):言語モデルのための一般化インストラクションチューニング
• Authors: Haoran Li, Qingxiu Dong, Zhengyang Tang, Chaojun Wang, Xingxing Zhang, Haoyang Huang, Shaohan Huang, Xiaolong Huang, Zeqiang Huang, Dongdong Zhang, Yuxian Gu, Xin Cheng, Xun Wang, Si-Qing Chen, Li Dong, Wei Lu, Zhifang Sui, Benyou Wang, Wai Lam, Furu Wei
• Abstract要約: GLAN(Generalized Instruction Tuning)は,Large Language Models(LLM)の汎用的かつスケーラブルなチューニング手法である。 GLANは、人間の知識と能力の事前分類を入力として利用し、あらゆる分野にわたる大規模な合成指導データを生成する。 サイラバスの全クラスセッションで詳述された、きめ細かい重要な概念により、私たちは、人間の知識とスキルの全範囲にわたって幅広い範囲をカバーする多様な命令を生成できる。
• 参考スコア（独自算出の注目度）: 153.14575887549088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.
• Abstract（参考訳）: 本稿では,Large Language Models (LLM) の汎用的,スケーラブルなチューニング手法であるGeneralized Instruction Tuning(GLAN)を紹介する。 シードサンプルや既存のデータセットを使って命令のチューニングデータを構築する以前の作業とは異なり、glanは人間の知識と能力の事前計算された分類を入力として、すべての分野にわたる大規模な合成命令データを生成する。 具体的には,人間教育システムの体系的構造に着想を得て,人間の知識と能力を様々な分野,サブフィールド,そして究極的には,LLMによって半自動的に促進される異なる分野に分解して分類を構築する。 その後,各分野の総合的な主題リストを作成し,llmを用いて各主題に合わせたシラバスの設計を進める。 syllabusのクラスセッションで詳述されている細かな重要な概念により、私たちは、人間の知識とスキルのあらゆる範囲をカバーする、多様なインストラクションを作成できます。 大規模言語モデル(例えばミストラル)に関する広範な実験により、グランは数学的推論、コーディング、アカデミック試験、論理的推論からタスク固有のトレーニングデータを用いずに従う一般的な指導まで多次元に優れていることが示されている。 さらに、glanは簡単にカスタマイズでき、新しいノードを私たちの分類に組み込むことで、新しいフィールドやスキルを追加できます。

関連論文リスト

• Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models [22.676688441884465]
  タスクの多種多様な配列で訓練済みの大規模言語モデル(LLM)を微調整することが、モデル構築の一般的なアプローチとなっている。 本研究では,事前学習したLLMに符号化されたタスク固有情報と,その表現に対する指導指導の効果について検討する。
  論文  参考訳（メタデータ） (2024-10-25T23:38:28Z)
• Empowering Persian LLMs for Instruction Following: A Novel Dataset and Training Approach [0.0]
  FarsInstructは,大規模言語モデルの命令追従能力を高めるために設計されたデータセットである。 FarsInstructは21の異なるデータセットにわたる197のテンプレートで構成されています。
  論文  参考訳（メタデータ） (2024-07-15T19:17:31Z)
• Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
  本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。 C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
  論文  参考訳（メタデータ） (2024-07-10T07:37:20Z)
• KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction [59.039355258637315]
  コード生成によるユニバーサル情報抽出(UIE)を行うためのLarge Language Model(LLM)であるKnowCoderを提案する。 KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現メソッドを導入した。 KnowCoderには、2フェーズの学習フレームワークがあり、コード事前トレーニングによるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-12T14:56:34Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Specialist or Generalist? Instruction Tuning for Specific NLP Tasks [58.422495509760154]
  包括的汎用的チューニングを取り入れることで,スペシャリストモデルの構築に寄与するかどうかを検討する。 実験では,異なる範囲で4つの目標タスクを評価した。 この効果は、タスク固有のトレーニングデータの量が限られている場合に特に顕著である。
  論文  参考訳（メタデータ） (2023-10-23T19:46:48Z)
• From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models [18.219485459836285]
  GTL(Generative Tabular Learning)は、大規模言語モデル(LLM)の高度な機能を統合する新しいフレームワークである。 我々の実証的研究は、GTLのスケーリングの振る舞いを厳格に分析し、384の公開データセットにまたがる。 GTL-LLaMA-2モデルは、多くの分類および回帰タスクにまたがる優れたゼロショットおよびインコンテキスト学習能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T09:37:38Z)
• Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
  本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。 我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
  論文  参考訳（メタデータ） (2023-05-09T17:42:34Z)
• Unified Text Structuralization with Instruction-tuned Language Models [28.869098023025753]
  テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。 実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
  論文  参考訳（メタデータ） (2023-03-27T07:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。