Fugu-MT 論文翻訳(概要): Mini-Giants: "Small" Language Models and Open Source Win-Win

論文の概要: Mini-Giants: "Small" Language Models and Open Source Win-Win

arxiv url: http://arxiv.org/abs/2307.08189v2
Date: Sun, 7 Jul 2024 06:42:31 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 03:38:37.292321
Title: Mini-Giants: "Small" Language Models and Open Source Win-Win
Title（参考訳）: Mini-Giants: "small"言語モデルとオープンソースWin-Win
Authors: Zhengping Zhou, Lezhi Li, Xinxi Chen, Andy Li,
Abstract要約: 小さな言語モデルは繁栄し、ますます有能になっている。 KaggleやMini-giantsのようなオープンソースコミュニティは、技術的、倫理的、社会的に、多くの点で勝利するだろう、と私たちは主張しています。
参考スコア（独自算出の注目度）: 1.51933449258702
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: ChatGPT is phenomenal. However, it is prohibitively expensive to train and refine such giant models. Fortunately, small language models are flourishing and becoming more and more competent. We call them "mini-giants". We argue that open source community like Kaggle and mini-giants will win-win in many ways, technically, ethically and socially. In this article, we present a brief yet rich background, discuss how to attain small language models, present a comparative study of small language models and a brief discussion of evaluation methods, discuss the application scenarios where small language models are most needed in the real world, and conclude with discussion and outlook.
Abstract（参考訳）: ChatGPTは驚くべきものです。しかし、そのような巨大モデルの訓練・改良は違法に高価である。幸いなことに、小さな言語モデルは繁栄し、ますます有能になってきています。これを「ミニジェント」と呼ぶ。 KaggleやMini-giantsのようなオープンソースコミュニティは、技術的、倫理的、社会的に、多くの点で勝利するだろう、と私たちは主張しています。本稿では,小言語モデルの実現方法,小言語モデルの比較研究,評価手法の簡単な議論,実世界では小言語モデルが最も必要とされるアプリケーションシナリオについて議論し,議論と展望をまとめる。

関連論文リスト

Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
論文参考訳（メタデータ） (2024-04-17T07:10:28Z)
Advancing State of the Art in Language Modeling [0.0]
一般化は統計言語モデリング研究の最も重要な目標であることは間違いない。オープンソースコードで公開された公開ベンチマークと論文は、この分野を前進させる上で重要なものだ。本稿では,一般化の観点から言語モデリングにおける最先端技術を支援するための,シンプルなフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-28T12:30:43Z)
Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文参考訳（メタデータ） (2023-10-23T03:48:24Z)
TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [37.65216279977461]
言語モデル(LM)は、小さくて一貫性があり、流動的なテキストを生成するのに苦労することが多い。 TinyStoriesを紹介します。これは、典型的な3～4歳の人が通常理解している単語のみを含む短いストーリーのデータセットです。我々はTinyStoriesを用いて,最先端モデルよりもはるかに小さいLMをトレーニングし,評価することができることを示す。
論文参考訳（メタデータ） (2023-05-12T20:56:48Z)
Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
論文参考訳（メタデータ） (2023-03-21T14:12:08Z)
Specializing Smaller Language Models towards Multi-Step Reasoning [56.78474185485288]
GPT-3.5 (ge$ 175B) から T5 変種 (le$ 11B) までを蒸留できることを示す。対象タスクに対するモデルの能力を専門化するモデル特殊化を提案する。
論文参考訳（メタデータ） (2023-01-30T08:51:19Z)
Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
論文参考訳（メタデータ） (2022-10-01T04:08:50Z)
Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
論文参考訳（メタデータ） (2022-03-10T02:24:14Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners [14.264737570114631]
GPT-3に類似した性能は、よりグリーンな言語モデルで得られることを示す。我々は、小さな言語モデルで自然言語理解を成功させるために必要な重要な要素を同定する。
論文参考訳（メタデータ） (2020-09-15T14:18:53Z)
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation [73.65237422910738]
既存の文埋め込みモデルを新しい言語に拡張する,簡単かつ効率的な手法を提案する。これにより、以前のモノリンガルモデルから多言語バージョンを作成することができる。
論文参考訳（メタデータ） (2020-04-21T08:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。