論文の概要: Herd: Using multiple, smaller LLMs to match the performances of
proprietary, large LLMs via an intelligent composer
- arxiv url: http://arxiv.org/abs/2310.19902v1
- Date: Mon, 30 Oct 2023 18:11:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 18:16:53.911705
- Title: Herd: Using multiple, smaller LLMs to match the performances of
proprietary, large LLMs via an intelligent composer
- Title(参考訳): Herd: 知的作曲家によるプロプライエタリで大規模なLLMのパフォーマンスに匹敵する、複数の小さなLLMの使用
- Authors: Surya Narayanan Hari, Matt Thomson
- Abstract要約: オープンソースモデルの群れは、インテリジェントルータを介して、プロプライエタリなモデルのパフォーマンスに適合または超えることができることを示す。
GPTがクエリに答えられない場合、Herdは少なくとも40%の確率でモデルを特定できる。
- 参考スコア(独自算出の注目度): 1.0878040851637998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Currently, over a thousand LLMs exist that are multi-purpose and are capable
of performing real world tasks, including Q&A, text summarization, content
generation, etc. However, accessibility, scale and reliability of free models
prevents them from being widely deployed in everyday use cases. To address the
first two issues of access and scale, organisations such as HuggingFace have
created model repositories where users have uploaded model weights and
quantized versions of models trained using different paradigms, as well as
model cards describing their training process. While some models report
performance on commonly used benchmarks, not all do, and interpreting the real
world impact of trading off performance on a benchmark for model deployment
cost, is unclear. Here, we show that a herd of open source models can match or
exceed the performance of proprietary models via an intelligent router. We show
that a Herd of open source models is able to match the accuracy of ChatGPT,
despite being composed of models that are effectively 2.5x smaller. We show
that in cases where GPT is not able to answer the query, Herd is able to
identify a model that can, at least 40% of the time.
- Abstract(参考訳): 現在、多目的で、Q&A、テキスト要約、コンテンツ生成など、現実世界のタスクを実行できるLLMは1000以上存在する。
しかしながら、フリーモデルのアクセシビリティ、スケール、信頼性は、日々のユースケースで広くデプロイされるのを防ぐ。
アクセスとスケールの最初の2つの問題に対処するため、HuggingFaceのような組織は、モデルの重み付けと異なるパラダイムを使ってトレーニングされたモデルの定量バージョンをアップロードしたモデルリポジトリと、トレーニングプロセスを記述するモデルカードを作成している。
一部のモデルは、一般的に使用されるベンチマークのパフォーマンスを報告しているが、すべてではないし、モデル展開コストのベンチマークでパフォーマンスのトレードオフによる現実世界への影響を解釈するのも不透明である。
本稿では,オープンソースモデルの群れが,インテリジェントルータを介してプロプライエタリモデルのパフォーマンスにマッチするか,あるいは超えられることを示す。
オープンソースモデルの群れは、効果的に2.5倍小さいモデルで構成されていても、chatgptの精度に合致することを示した。
GPTがクエリに答えられない場合、Herdは少なくとも40%の確率でモデルを特定することができる。
関連論文リスト
- ModelGPT: Unleashing LLM's Capabilities for Tailored Model Generation [35.160964210941955]
本稿では,ユーザが提供するデータやタスク記述に適したAIモデルを決定・生成するフレームワークであるModelGPTを提案する。
ユーザの要求に応じて、ModelGPTは、以前のパラダイムよりも少なくとも270倍高速に、調整済みのモデルを提供することができる。
論文 参考訳(メタデータ) (2024-02-18T11:24:34Z) - Entity Matching using Large Language Models [4.94950858749529]
最先端のエンティティマッチング手法は、BERTやRoBERTaのような事前訓練された言語モデル(PLM)に依存している。
エンティティマッチングにおけるこれらのモデルの2つの大きな欠点は、(i)モデルがタスク固有のトレーニングデータを必要とすることと、(ii)微調整されたモデルが、アウト・オブ・ディストリビューション・エンティティに関して堅牢でないことである。
PLMベースのマーカに代えて,よりタスク依存の訓練データとして,生成的大規模言語モデル(LLM)をエンティティマッチングに使用することを検討する。
論文 参考訳(メタデータ) (2023-10-17T13:12:32Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳(メタデータ) (2023-10-05T09:09:44Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳(メタデータ) (2023-08-23T17:28:21Z) - UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。
本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。
統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
論文 参考訳(メタデータ) (2023-07-30T09:48:36Z) - "Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。
その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
論文 参考訳(メタデータ) (2023-06-05T21:38:30Z) - Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。
本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。
従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
論文 参考訳(メタデータ) (2023-05-30T06:40:08Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Petals: Collaborative Inference and Fine-tuning of Large Models [78.37798144357977]
多くのNLPタスクは、1000億以上のパラメータを持つ大きな言語モデル(LLM)を使用することで恩恵を受ける。
BLOOM-176BとOPT-175Bのリリースにより、誰もがこのスケールで事前訓練されたモデルをダウンロードできる。
我々は,大規模モデルの推測と微調整を協調的に行うシステムとして,Petals $-$を提案する。
論文 参考訳(メタデータ) (2022-09-02T17:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。