論文の概要: Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

• arxiv url: http://arxiv.org/abs/2307.02053v1
• Date: Wed, 5 Jul 2023 06:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 14:53:17.006058
• Title: Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning
• Title（参考訳）: Flacuna: FLANファインチューニングによるVicunaの問題解決力の解放
• Authors: Deepanway Ghosal, Yew Ken Chia, Navonil Majumder, Soujanya Poria
• Abstract要約: 本技術報告は,LLAMAに基づく大規模言語モデルであるVICUNAを活用することにより,第3因子の影響を調査することに焦点を当てる。 この目的を達成するために、我々はFLANMINIと呼ばれるカスタマイズされた命令データセットコレクションを使用してVICUNAを微調整した。 実験結果から,FLANデータセット上の微調整VICUNAにより,モデルFLACUNAの問題解決能力が向上していることが示唆された。
• 参考スコア（独自算出の注目度）: 23.38774771827474
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, the release of INSTRUCTEVAL has provided valuable insights into the performance of large language models (LLMs) that utilize encoder-decoder or decoder-only architecture. Interestingly, despite being introduced four years ago, T5-based LLMs, such as FLAN-T5, continue to outperform the latest decoder-based LLMs, such as LLAMA and VICUNA, on tasks that require general problem-solving skills. This performance discrepancy can be attributed to three key factors: (1) Pre-training data, (2) Backbone architecture, and (3) Instruction dataset. In this technical report, our main focus is on investigating the impact of the third factor by leveraging VICUNA, a large language model based on LLAMA, which has undergone fine-tuning on ChatGPT conversations. To achieve this objective, we fine-tuned VICUNA using a customized instruction dataset collection called FLANMINI. This collection includes a subset of the large-scale instruction dataset known as FLAN, as well as various code-related datasets and conversational datasets derived from ChatGPT/GPT-4. This dataset comprises a large number of tasks that demand problem-solving skills. Our experimental findings strongly indicate that the enhanced problem-solving abilities of our model, FLACUNA, are obtained through fine-tuning VICUNA on the FLAN dataset, leading to significant improvements across numerous benchmark datasets in INSTRUCTEVAL. FLACUNA is publicly available at https://huggingface.co/declare-lab/flacuna-13b-v1.0.
• Abstract（参考訳）: 最近、INSTRUCTEVALのリリースは、エンコーダデコーダやデコーダオンリーアーキテクチャを利用した大規模言語モデル(LLM)の性能に関する貴重な洞察を提供している。 興味深いことに、4年前に導入されたにもかかわらず、FLAN-T5のようなT5ベースのLLMは、一般的な問題解決スキルを必要とするタスクにおいて、LLAMAやVICUNAのような最新のデコーダベースのLLMよりも優れています。 このパフォーマンス格差は、(1)事前トレーニングデータ、(2)バックボーンアーキテクチャ、(3)命令データセットという3つの重要な要因によって引き起こされる。 本技術報告では,ChatGPT会話を微調整したLLAMAに基づく大規模言語モデルであるVICUNAを活用することで,第3因子の影響について検討する。 この目的を達成するために、FLANMINIと呼ばれるカスタマイズされた命令データセットを用いてVICUNAを微調整した。 このコレクションには、FLANとして知られる大規模な命令データセットのサブセットと、ChatGPT/GPT-4から派生したさまざまなコード関連データセットと会話データセットが含まれている。 このデータセットは、問題解決スキルを要求する多くのタスクを含んでいる。 実験結果から,FLANデータセットの微調整によりFLACUNAが得られ,INSTRUCTEVALの多数のベンチマークデータセットに対して大幅な改善が得られたことが示唆された。 FLACUNAはhttps://huggingface.co/declare-lab/flacuna-13b-v1.0で公開されている。

関連論文リスト

• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Column Vocabulary Association (CVA): semantic interpretation of dataless tables [0.6466206145151129]
  カラム語彙協会(英語: Column Vocabulary Association, CVA)は、メタデータ情報のみに基づく列ヘッダのセマンティックアノテーションのタスクを指す。 我々は,大規模言語モデル (LLM) や検索拡張生成 (RAG) など,CVAタスクの実行における各種手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-09-06T14:58:30Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• COCO is "ALL'' You Need for Visual Instruction Fine-tuning [39.438410070172125]
  ビジュアルインストラクション微調整(IFT)は、MLLMの出力をユーザの意図に合わせるための重要なプロセスである。 近年,多面的アプローチによる視覚的IFTデータセットの構築が提案されている。 我々は新しいIFTデータセットを構築し、COCOデータセットからの画像と、より多様な指示を得られるようにした。
  論文  参考訳（メタデータ） (2024-01-17T04:43:45Z)
• On Inter-dataset Code Duplication and Data Leakage in Large Language Models [4.148857672591562]
  本稿では,データセット間の重複現象とその大規模言語モデル(LLM)評価への影響について検討する。 この結果から,複数のSEタスクにまたがるLCMの評価は,データ間重複現象に起因する可能性が示唆された。 オープンソースモデルがデータセット間の重複に影響される可能性があることを示す。
  論文  参考訳（メタデータ） (2024-01-15T19:46:40Z)
• Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
  Genixerは4つの重要なステップからなる包括的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。 タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
  論文  参考訳（メタデータ） (2023-12-11T09:44:41Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
  DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。 私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。 ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
  論文  参考訳（メタデータ） (2022-07-20T17:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。