論文の概要: FANNO: Augmenting High-Quality Instruction Data with Open-Sourced LLMs Only

• arxiv url: http://arxiv.org/abs/2408.01323v1
• Date: Fri, 2 Aug 2024 15:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 13:07:59.448072
• Title: FANNO: Augmenting High-Quality Instruction Data with Open-Sourced LLMs Only
• Title（参考訳）: FANNO: オープンソース LLM のみによる高品質なインストラクションデータの拡張
• Authors: He Zhu, Junyou Su, Tianle Lun, Yicheng Tao, Wenjia Zhang, Zipei Fan, Guanhua Chen,
• Abstract要約: FANNOは、既存のアノテーション付きデータを必要とせずにアノテーションプロセスに革命をもたらす、オープンソースのフレームワークである。 文書事前スクリーニング、命令生成、応答生成を含む構造化プロセスを通じて、多種多様な高品質なデータセットを効率よく生成する。 実験によると、FANNOは、Alpaca-GPT4-Cleanedのような人間による注釈付きまたはクリーン化されたデータセットに匹敵する、多様性と複雑さを備えた高品質なデータを無償で生成できる。
• 参考スコア（独自算出の注目度）: 9.459741600938376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction fine-tuning stands as a crucial advancement in leveraging large language models (LLMs) for enhanced task performance. However, the annotation of instruction datasets has traditionally been expensive and laborious, often relying on manual annotations or costly API calls of proprietary LLMs. To address these challenges, we introduce FANNO, a fully autonomous, open-sourced framework that revolutionizes the annotation process without the need for pre-existing annotated data. Utilizing a Mistral-7b-instruct model, FANNO efficiently produces diverse and high-quality datasets through a structured process involving document pre-screening, instruction generation, and response generation. Experiments on Open LLM Leaderboard and AlpacaEval benchmark show that the FANNO can generate high-quality data with diversity and complexity for free, comparable to human-annotated or cleaned datasets like Alpaca-GPT4-Cleaned.
• Abstract（参考訳）: インストラクションの微調整は、タスクパフォーマンスを向上させるために大きな言語モデル(LLM)を活用する上で重要な進歩である。 しかし、命令データセットのアノテーションは伝統的に高価であり、しばしば手動のアノテーションやプロプライエタリなLLMのAPI呼び出しに依存している。 これらの課題に対処するため、既存のアノテーション付きデータを必要とせずにアノテーションプロセスに革命をもたらす、完全に自律的なオープンソースフレームワークであるFANNOを紹介します。 Mistral-7b-インストラクタモデルを用いて、FANNOは文書事前スクリーニング、命令生成、応答生成を含む構造化プロセスを通じて、多種多様な高品質なデータセットを効率的に生成する。 Open LLM LeaderboardとAlpacaEvalベンチマークの実験によると、FANNOは、Alpaca-GPT4-Cleanedのような人間による注釈付きまたはクリーン化されたデータセットに匹敵する、多様性と複雑さを備えた高品質なデータを無償で生成できる。

関連論文リスト

• Optimizing Instruction Synthesis: Effective Exploration of Evolutionary Space with Tree Search [25.108044778194536]
  命令を効率的に合成するスケーラブルなフレームワークであるIDEA-MCTS (Instruction Data Enhancement using Monte Carlo Tree Search)を紹介した。 木探索と評価モデルにより、各命令を効率よくガイドして高品質な形式に進化させ、命令の微調整を支援することができる。 実験の結果、IDEA-MCTSはシードインストラクションデータを大幅に向上させ、品質、多様性、複雑さの平均評価スコアを2.19から3.81に引き上げた。
  論文  参考訳（メタデータ） (2024-10-14T11:28:30Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Can LLMs Augment Low-Resource Reading Comprehension Datasets? Opportunities and Challenges [3.130575840003799]
  GPT-4は、既存の読解データセットを強化するために使用できる。 この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
  論文  参考訳（メタデータ） (2023-09-21T18:48:02Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
  本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。 我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
  論文  参考訳（メタデータ） (2023-05-09T17:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。