論文の概要: Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN
Fine-Tuning
- arxiv url: http://arxiv.org/abs/2307.02053v1
- Date: Wed, 5 Jul 2023 06:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 14:53:17.006058
- Title: Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN
Fine-Tuning
- Title(参考訳): Flacuna: FLANファインチューニングによるVicunaの問題解決力の解放
- Authors: Deepanway Ghosal, Yew Ken Chia, Navonil Majumder, Soujanya Poria
- Abstract要約: 本技術報告は,LLAMAに基づく大規模言語モデルであるVICUNAを活用することにより,第3因子の影響を調査することに焦点を当てる。
この目的を達成するために、我々はFLANMINIと呼ばれるカスタマイズされた命令データセットコレクションを使用してVICUNAを微調整した。
実験結果から,FLANデータセット上の微調整VICUNAにより,モデルFLACUNAの問題解決能力が向上していることが示唆された。
- 参考スコア(独自算出の注目度): 23.38774771827474
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, the release of INSTRUCTEVAL has provided valuable insights into the
performance of large language models (LLMs) that utilize encoder-decoder or
decoder-only architecture. Interestingly, despite being introduced four years
ago, T5-based LLMs, such as FLAN-T5, continue to outperform the latest
decoder-based LLMs, such as LLAMA and VICUNA, on tasks that require general
problem-solving skills. This performance discrepancy can be attributed to three
key factors: (1) Pre-training data, (2) Backbone architecture, and (3)
Instruction dataset. In this technical report, our main focus is on
investigating the impact of the third factor by leveraging VICUNA, a large
language model based on LLAMA, which has undergone fine-tuning on ChatGPT
conversations. To achieve this objective, we fine-tuned VICUNA using a
customized instruction dataset collection called FLANMINI. This collection
includes a subset of the large-scale instruction dataset known as FLAN, as well
as various code-related datasets and conversational datasets derived from
ChatGPT/GPT-4. This dataset comprises a large number of tasks that demand
problem-solving skills. Our experimental findings strongly indicate that the
enhanced problem-solving abilities of our model, FLACUNA, are obtained through
fine-tuning VICUNA on the FLAN dataset, leading to significant improvements
across numerous benchmark datasets in INSTRUCTEVAL. FLACUNA is publicly
available at https://huggingface.co/declare-lab/flacuna-13b-v1.0.
- Abstract(参考訳): 最近、INSTRUCTEVALのリリースは、エンコーダデコーダやデコーダオンリーアーキテクチャを利用した大規模言語モデル(LLM)の性能に関する貴重な洞察を提供している。
興味深いことに、4年前に導入されたにもかかわらず、FLAN-T5のようなT5ベースのLLMは、一般的な問題解決スキルを必要とするタスクにおいて、LLAMAやVICUNAのような最新のデコーダベースのLLMよりも優れています。
このパフォーマンス格差は、(1)事前トレーニングデータ、(2)バックボーンアーキテクチャ、(3)命令データセットという3つの重要な要因によって引き起こされる。
本技術報告では,ChatGPT会話を微調整したLLAMAに基づく大規模言語モデルであるVICUNAを活用することで,第3因子の影響について検討する。
この目的を達成するために、FLANMINIと呼ばれるカスタマイズされた命令データセットを用いてVICUNAを微調整した。
このコレクションには、FLANとして知られる大規模な命令データセットのサブセットと、ChatGPT/GPT-4から派生したさまざまなコード関連データセットと会話データセットが含まれている。
このデータセットは、問題解決スキルを要求する多くのタスクを含んでいる。
実験結果から,FLANデータセットの微調整によりFLACUNAが得られ,INSTRUCTEVALの多数のベンチマークデータセットに対して大幅な改善が得られたことが示唆された。
FLACUNAはhttps://huggingface.co/declare-lab/flacuna-13b-v1.0で公開されている。
関連論文リスト
- TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。
われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。
さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文 参考訳(メタデータ) (2024-04-19T11:38:08Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - COCO is "ALL'' You Need for Visual Instruction Fine-tuning [39.438410070172125]
ビジュアルインストラクション微調整(IFT)は、MLLMの出力をユーザの意図に合わせるための重要なプロセスである。
近年,多面的アプローチによる視覚的IFTデータセットの構築が提案されている。
我々は新しいIFTデータセットを構築し、COCOデータセットからの画像と、より多様な指示を得られるようにした。
論文 参考訳(メタデータ) (2024-01-17T04:43:45Z) - On Inter-dataset Code Duplication and Data Leakage in Large Language
Models [5.704848262917858]
本稿では,データセット間の重複現象とその大規模言語モデル(LLM)評価への影響について検討する。
復号化プロセスを用いて,事前学習データセットと微調整データセットの交点を同定する。
CSNで事前学習した4つのモデルを微調整し、事前学習中に見いだされたサンプルと、その段階で見つからないモデルの性能を評価する。
論文 参考訳(メタデータ) (2024-01-15T19:46:40Z) - Gradient Coreset for Federated Learning [27.04322811181904]
フェデレートラーニング(FL)は、複数のクライアントにまたがるデータを分割した機械学習モデルを学ぶために使用される。
本稿では,各クライアントのコアセットを選択するアルゴリズムを提案する。
我々のコアセット選択手法は,クライアントのデータ中のノイズを考慮した場合に非常に有効であることを示す。
論文 参考訳(メタデータ) (2024-01-13T06:17:17Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳(メタデータ) (2023-05-09T17:42:34Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - SPARTA: Speaker Profiling for ARabic TAlk [0.039146761527401416]
本論文では,アラビア語音声の3つの話者特性(性別,感情,方言)を自動推定する手法を提案する。
データセットは6つの公開データセットから組み立てられた。
本論文で使用するデータおよび事前学習済みモデルはすべて利用可能であり、一般に入手することができる。
論文 参考訳(メタデータ) (2020-12-13T14:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。