論文の概要: Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer

• arxiv url: http://arxiv.org/abs/2311.06720v1
• Date: Sun, 12 Nov 2023 03:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:21:24.433024
• Title: Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer
• Title（参考訳）: Cappy: 小型スコーラによる大規模マルチタスクLMの性能向上
• Authors: Bowen Tan, Yun Zhu, Lijuan Liu, Eric Xing, Zhiting Hu, Jindong Chen
• Abstract要約: T0, FLAN, OPT-IMLといった大規模言語モデル(LLM)は、統一的な命令フォローパラダイムの下でマルチタスクで優れている。 マルチタスク LLM の性能と効率を向上させるために,プリトレーニングされた小型スコアラ Cappy を導入する。 我々の実験では、PromptSourceから11の言語理解タスクを独立に行う場合、Cappyは数桁のLLMよりも優れています。
• 参考スコア（独自算出の注目度）: 29.575315703737882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) such as T0, FLAN, and OPT-IML, excel in multi-tasking under a unified instruction-following paradigm, where they also exhibit remarkable generalization abilities to unseen tasks. Despite their impressive performance, these LLMs, with sizes ranging from several billion to hundreds of billions of parameters, demand substantial computational resources, making their training and inference expensive and inefficient. Furthermore, adapting these models to downstream applications, particularly complex tasks, is often unfeasible due to the extensive hardware requirements for finetuning, even when utilizing parameter-efficient approaches such as prompt tuning. Additionally, the most powerful multi-task LLMs, such as OPT-IML-175B and FLAN-PaLM-540B, are not publicly accessible, severely limiting their customization potential. To address these challenges, we introduce a pretrained small scorer, Cappy, designed to enhance the performance and efficiency of multi-task LLMs. With merely 360 million parameters, Cappy functions either independently on classification tasks or serve as an auxiliary component for LLMs, boosting their performance. Moreover, Cappy enables efficiently integrating downstream supervision without requiring LLM finetuning nor the access to their parameters. Our experiments demonstrate that, when working independently on 11 language understanding tasks from PromptSource, Cappy outperforms LLMs that are several orders of magnitude larger. Besides, on 45 complex tasks from BIG-Bench, Cappy boosts the performance of the advanced multi-task LLM, FLAN-T5, by a large margin. Furthermore, Cappy is flexible to cooperate with other LLM adaptations, including finetuning and in-context learning, offering additional performance enhancement.
• Abstract（参考訳）: T0, FLAN, OPT-IMLといった大規模言語モデル(LLM)は、統一的な命令追従パラダイムの下でマルチタスクで優れており、未確認タスクに対して顕著な一般化能力を示す。 優れた性能にもかかわらず、これらのLSMは数十億から数十億のパラメータを持ち、かなりの計算資源を必要とするため、トレーニングと推論は高価で非効率である。 さらに、これらのモデルを下流のアプリケーション、特に複雑なタスクに適応させることは、プロンプトチューニングのようなパラメータ効率の良いアプローチを利用する場合でも、ファインタニングのハードウェア要件が広いため、しばしば実現不可能である。 さらに opt-iml-175b や flan-palm-540b など、最も強力なマルチタスクllm は、公開されていない。 これらの課題に対処するために,マルチタスク LLM の性能と効率を向上させるために,事前訓練された小型スコアラ Cappy を導入する。 3360万のパラメータを持つcappyは、分類タスクとは独立に機能するか、llmの補助コンポーネントとして機能し、パフォーマンスを向上させる。 さらに、CappyはLLMの微調整やパラメータへのアクセスを必要とせずに、下流の監視を効率的に統合できる。 我々の実験では、PromptSourceから11の言語理解タスクを独立に行う場合、Cappyは数桁のLLMよりも優れています。 加えて、BIG-Benchの45の複雑なタスクにおいて、Cappyは高度なマルチタスクLLMであるFLAN-T5の性能を大幅に向上させる。 さらにCappyは、微調整やコンテキスト内学習など、他のLLM適応と連携する柔軟性があり、さらなるパフォーマンス向上を提供する。

関連論文リスト

• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [12.708117108874083]
  大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。 従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。 本稿では,本論文の総合的研究について述べる。 自動コード生成シナリオにおけるLLMのためのPEFT技術。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
  本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。 我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。 4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
  論文  参考訳（メタデータ） (2023-05-22T22:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。