論文の概要: Herd: Using multiple, smaller LLMs to match the performances of
proprietary, large LLMs via an intelligent composer
- arxiv url: http://arxiv.org/abs/2310.19902v1
- Date: Mon, 30 Oct 2023 18:11:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 18:16:53.911705
- Title: Herd: Using multiple, smaller LLMs to match the performances of
proprietary, large LLMs via an intelligent composer
- Title（参考訳）: Herd: 知的作曲家によるプロプライエタリで大規模なLLMのパフォーマンスに匹敵する、複数の小さなLLMの使用
- Authors: Surya Narayanan Hari, Matt Thomson
- Abstract要約: オープンソースモデルの群れは、インテリジェントルータを介して、プロプライエタリなモデルのパフォーマンスに適合または超えることができることを示す。
GPTがクエリに答えられない場合、Herdは少なくとも40%の確率でモデルを特定できる。
- 参考スコア（独自算出の注目度）: 1.0878040851637998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Currently, over a thousand LLMs exist that are multi-purpose and are capable
of performing real world tasks, including Q&A, text summarization, content
generation, etc. However, accessibility, scale and reliability of free models
prevents them from being widely deployed in everyday use cases. To address the
first two issues of access and scale, organisations such as HuggingFace have
created model repositories where users have uploaded model weights and
quantized versions of models trained using different paradigms, as well as
model cards describing their training process. While some models report
performance on commonly used benchmarks, not all do, and interpreting the real
world impact of trading off performance on a benchmark for model deployment
cost, is unclear. Here, we show that a herd of open source models can match or
exceed the performance of proprietary models via an intelligent router. We show
that a Herd of open source models is able to match the accuracy of ChatGPT,
despite being composed of models that are effectively 2.5x smaller. We show
that in cases where GPT is not able to answer the query, Herd is able to
identify a model that can, at least 40% of the time.
- Abstract（参考訳）: 現在、多目的で、Q&A、テキスト要約、コンテンツ生成など、現実世界のタスクを実行できるLLMは1000以上存在する。
しかしながら、フリーモデルのアクセシビリティ、スケール、信頼性は、日々のユースケースで広くデプロイされるのを防ぐ。
アクセスとスケールの最初の2つの問題に対処するため、HuggingFaceのような組織は、モデルの重み付けと異なるパラダイムを使ってトレーニングされたモデルの定量バージョンをアップロードしたモデルリポジトリと、トレーニングプロセスを記述するモデルカードを作成している。
一部のモデルは、一般的に使用されるベンチマークのパフォーマンスを報告しているが、すべてではないし、モデル展開コストのベンチマークでパフォーマンスのトレードオフによる現実世界への影響を解釈するのも不透明である。
本稿では,オープンソースモデルの群れが,インテリジェントルータを介してプロプライエタリモデルのパフォーマンスにマッチするか,あるいは超えられることを示す。
オープンソースモデルの群れは、効果的に2.5倍小さいモデルで構成されていても、chatgptの精度に合致することを示した。
GPTがクエリに答えられない場合、Herdは少なくとも40%の確率でモデルを特定することができる。
関連論文リスト
- EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。
このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。
EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-03T05:43:24Z) - Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。
7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
論文 参考訳（メタデータ） (2024-08-21T09:08:26Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - When Do We Not Need Larger Vision Models? [55.957626371697785]
視覚モデルのサイズを拡大することが、より強力な視覚表現を得るためのデファクトスタンダードとなっている。
S$2のScaling on Scales(スケーリング・オン・スケール)のパワーを実演します。
1行のコードで任意のビジョンモデルにS$2$を適用可能なPythonパッケージをリリースします。
論文 参考訳（メタデータ） (2024-03-19T17:58:39Z) - ModelGPT: Unleashing LLM's Capabilities for Tailored Model Generation [35.160964210941955]
本稿では,ユーザが提供するデータやタスク記述に適したAIモデルを決定・生成するフレームワークであるModelGPTを提案する。
ユーザの要求に応じて、ModelGPTは、以前のパラダイムよりも少なくとも270倍高速に、調整済みのモデルを提供することができる。
論文 参考訳（メタデータ） (2024-02-18T11:24:34Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:09:44Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳（メタデータ） (2023-08-23T17:28:21Z) - UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。
本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。
統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
論文 参考訳（メタデータ） (2023-07-30T09:48:36Z) - "Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。
その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
論文 参考訳（メタデータ） (2023-06-05T21:38:30Z) - Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。
本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。
従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
論文 参考訳（メタデータ） (2023-05-30T06:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。