論文の概要: On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models

• arxiv url: http://arxiv.org/abs/2307.09793v1
• Date: Wed, 19 Jul 2023 07:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 15:06:30.337607
• Title: On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models
• Title（参考訳）: LLMの起源について:15,821大言語モデルのための進化木とグラフ
• Authors: Sarah Gao, Andrew Kean Gao
• Abstract要約: 大規模言語モデル(LLM)は、ChatGPTやBardといったLLMが数百万のユーザを獲得して、非常に注目されている。 我々は15,821 LLMのコンステレーションをナビゲートし探索するための公開ウェブアプリケーションを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Since late 2022, Large Language Models (LLMs) have become very prominent with LLMs like ChatGPT and Bard receiving millions of users. Hundreds of new LLMs are announced each week, many of which are deposited to Hugging Face, a repository of machine learning models and datasets. To date, nearly 16,000 Text Generation models have been uploaded to the site. Given the huge influx of LLMs, it is of interest to know which LLM backbones, settings, training methods, and families are popular or trending. However, there is no comprehensive index of LLMs available. We take advantage of the relatively systematic nomenclature of Hugging Face LLMs to perform hierarchical clustering and identify communities amongst LLMs using n-grams and term frequency-inverse document frequency. Our methods successfully identify families of LLMs and accurately cluster LLMs into meaningful subgroups. We present a public web application to navigate and explore Constellation, our atlas of 15,821 LLMs. Constellation rapidly generates a variety of visualizations, namely dendrograms, graphs, word clouds, and scatter plots. Constellation is available at the following link: https://constellation.sites.stanford.edu/.
• Abstract（参考訳）: 2022年後半以降、Large Language Models (LLM) はChatGPT や Bard といった LLM が数百万のユーザを獲得して、非常に注目されている。 毎週何百もの新しいLLMが発表され、その多くが機械学習モデルとデータセットのリポジトリであるHugging Faceに預けられている。 現在までに1万6000近いテキスト生成モデルがサイトにアップロードされている。 LLMの膨大な流入を考えると、どのLLMバックボーン、設定、トレーニング方法、家族が人気かトレンドかを知ることは興味深い。 しかし、LLMの包括的なインデックスは存在しない。 我々はHugging Face LLMの比較的体系的な命名法を利用して階層的クラスタリングを行い、n-gramと項周波数逆文書周波数を用いてLLM間のコミュニティを特定する。 提案手法はLLMの分類に成功し,LLMを意味のあるサブグループに正確にクラスタリングする。 我々は15,821 LLMのコンステレーションをナビゲートし探索するための公開ウェブアプリケーションを提案する。 コンステレーションは、デンドログラム、グラフ、ワードクラウド、散乱プロットなど、様々な視覚化を急速に生成する。 constellation.sites.stanford.edu/ は以下のリンクで利用可能である。

関連論文リスト

• WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents [55.64361927346957]
  大規模言語モデル(LLM)による規則の勾配なし学習のためのニューロシンボリックアプローチを提案する。 我々のLLMエージェントWALL-Eはモデル予測制御(MPC)上に構築されている MinecraftとALFWorldにおけるオープンワールドの課題について、WALL-Eは既存の方法よりも高い成功率を達成する。
  論文  参考訳（メタデータ） (2024-10-09T23:37:36Z)
• Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications [0.0]
  大規模言語モデル(LLM)が最近広く採用されている。自律エージェントやソフトウェア工学のツールとしての利用について調査している。 一方、LLMの統合されたアプリケーションは、LLMを利用してタスクを実行するソフトウェアシステムである。 本研究は,LLM統合アプリケーションに対する分類学を提供し,これらのシステムの解析と記述のためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-06-13T21:32:56Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• Mutual Enhancement of Large and Small Language Models with Cross-Silo Knowledge Transfer [27.63746419563747]
  大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。 タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。 本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T09:52:32Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends [30.774685501251817]
  一般的な大規模言語モデル(LLM)は、ソフトウェア工学におけるコード生成のようなタスクにおいて大きな可能性を証明している。 コードLLMのかなりの部分は、モデルファインチューニングを通じて一般的なLLMから派生している。 現在、Code LLMとそのパフォーマンスに関する体系的な調査が欠如している。
  論文  参考訳（メタデータ） (2023-11-17T07:55:16Z)
• Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs? [24.931467926497152]
  Head-to-Tailは、ヘッド、トーソ、テールファクトに関する18Kの質問対で構成されるベンチマークである。 既存のLSMは、特に胴体と尾部の実体の事実において、事実知識の把握の観点からはまだ完璧ではないことを示す。
  論文  参考訳（メタデータ） (2023-08-20T05:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。