論文の概要: Examining User-Friendly and Open-Sourced Large GPT Models: A Survey on
Language, Multimodal, and Scientific GPT Models
- arxiv url: http://arxiv.org/abs/2308.14149v1
- Date: Sun, 27 Aug 2023 16:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 16:35:08.165581
- Title: Examining User-Friendly and Open-Sourced Large GPT Models: A Survey on
Language, Multimodal, and Scientific GPT Models
- Title（参考訳）: ユーザフレンドリーでオープンソースの大規模GPTモデルの検討:言語,マルチモーダル,科学GPTモデルに関する調査
- Authors: Kaiyuan Gao, Sunan He, Zhenyu He, Jiacheng Lin, QiZhi Pei, Jie Shao,
Wei Zhang
- Abstract要約: 生成事前学習変換器(GPT)モデルは自然言語処理(NLP)の分野に革命をもたらした。
GPTモデルは、かなりのサイズ、高い計算要求、複雑なデプロイメントプロセス、クローズド開発ループといった固有の制限に直面している。
ユーザフレンドリーで、比較的小さく、オープンソースの代替GPTモデルの必要性は、高いパフォーマンスを維持しながらこれらの制限を克服したいという願望から生じる。
- 参考スコア（独自算出の注目度）: 12.065200842859834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative pre-trained transformer (GPT) models have revolutionized the field
of natural language processing (NLP) with remarkable performance in various
tasks and also extend their power to multimodal domains. Despite their success,
large GPT models like GPT-4 face inherent limitations such as considerable
size, high computational requirements, complex deployment processes, and closed
development loops. These constraints restrict their widespread adoption and
raise concerns regarding their responsible development and usage. The need for
user-friendly, relatively small, and open-sourced alternative GPT models arises
from the desire to overcome these limitations while retaining high performance.
In this survey paper, we provide an examination of alternative open-sourced
models of large GPTs, focusing on user-friendly and relatively small models
that facilitate easier deployment and accessibility. Through this extensive
survey, we aim to equip researchers, practitioners, and enthusiasts with a
thorough understanding of user-friendly and relatively small open-sourced
models of large GPTs, their current state, challenges, and future research
directions, inspiring the development of more efficient, accessible, and
versatile GPT models that cater to the broader scientific community and advance
the field of general artificial intelligence. The source contents are
continuously updating in https://github.com/GPT-Alternatives/gpt_alternatives.
- Abstract（参考訳）: 生成事前学習トランスフォーマー(gpt)モデルは自然言語処理(nlp)の分野に革命をもたらし、様々なタスクにおいて顕著な性能を発揮し、そのパワーをマルチモーダルドメインに拡張した。
その成功にもかかわらず、GPT-4のような大規模なGPTモデルは、かなりのサイズ、高い計算要求、複雑なデプロイメントプロセス、クローズド開発ループといった固有の制限に直面している。
これらの制約は広く採用されることを制限し、責任ある開発と利用に関する懸念を提起する。
ユーザフレンドリーで、比較的小さく、オープンソースの代替GPTモデルの必要性は、高いパフォーマンスを維持しながらこれらの制限を克服したいという願望から生じる。
本稿では,大規模GPTの代替オープンソースモデルについて検討し,デプロイやアクセシビリティを容易にするユーザフレンドリで比較的小さなモデルに注目した。
この広範な調査を通じて、私たちは研究者、実践者、愛好家に対して、大きなgptのユーザフレンドリーで比較的小さなオープンソースモデル、その現状、課題、将来の研究方向性を徹底的に理解し、より広い科学コミュニティに適合し、汎用的なgptモデルの開発を促進することを目的としています。
ソースコンテンツはhttps://github.com/GPT-Alternatives/gpt_alternativesで継続的に更新されている。
関連論文リスト
- Automated Text Scoring in the Age of Generative AI for the GPU-poor [49.1574468325115]
自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。
以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
論文 参考訳（メタデータ） (2024-07-02T01:17:01Z) - LEGENT: Open Platform for Embodied Agents [60.71847900126832]
LEGENTはLarge Language Models (LLM) とLarge Multimodal Models (LMM) を用いたエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームである。
LEGENTはリッチでインタラクティブな3D環境を提供し、コミュニケーション可能でアクション可能なエージェントをユーザフレンドリーなインターフェースと組み合わせている。
実験では、EGENT生成データに基づいて訓練された胚性視覚言語モデルが、エンボディタスクにおいてGPT-4Vを超える。
論文 参考訳（メタデータ） (2024-04-28T16:50:12Z) - OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [6.917568654215119]
OMPGPTは、OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用するために設計された、新しいドメイン固有モデルである。
我々は、NLPドメインからの迅速なエンジニアリング技術を活用し、OMPGPTの有効性を高めるために設計された革新的な戦略であるChain-of-OMPを作成する。
論文 参考訳（メタデータ） (2024-01-28T06:06:59Z) - The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。
GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。
GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
論文 参考訳（メタデータ） (2023-09-29T17:34:51Z) - NExT-GPT: Any-to-Any Multimodal LLM [75.5656492989924]
我々は,NExT-GPTという汎用的なMM-LLMシステムを提案する。
NExT-GPTは入力を知覚し、テキスト、画像、ビデオ、オーディオの任意の組み合わせで出力を生成することができる。
モーダリティ・スイッチング・インストラクション・チューニング(MosIT)を導入し,複雑なモーダリティ・セマンティック・理解とコンテンツ生成によってNExT-GPTが強化されたMosITの高品質なデータセットを手作業でキュレートする。
論文 参考訳（メタデータ） (2023-09-11T15:02:25Z) - AutoML-GPT: Large Language Model for AutoML [5.9145212342776805]
包括的なツールとライブラリを統合するAutoML-GPTというフレームワークを確立しました。
会話インターフェースを通じて、ユーザーは要求、制約、評価メトリクスを指定できる。
我々は、AutoML-GPTが機械学習タスクに必要な時間と労力を大幅に削減することを示した。
論文 参考訳（メタデータ） (2023-09-03T09:39:49Z) - SoTaNa: The Open-Source Software Development Assistant [81.86136560157266]
SoTaNaはオープンソースのソフトウェア開発アシスタントだ。
ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。
オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
論文 参考訳（メタデータ） (2023-08-25T14:56:21Z) - Generative Pre-trained Transformer: A Comprehensive Review on Enabling
Technologies, Potential Applications, Emerging Challenges, and Future
Directions [11.959434388955787]
Generative Pre-trained Transformer (GPT)は、自然言語処理の分野における顕著なブレークスルーである。
GPTは自然言語処理タスク用に設計されたディープニューラルネットワークであるTransformerアーキテクチャに基づいている。
論文 参考訳（メタデータ） (2023-05-11T19:20:38Z) - Geotechnical Parrot Tales (GPT): Harnessing Large Language Models in
geotechnical engineering [2.132096006921048]
GPTモデルは可聴音を生成できるが、偽の出力を生成でき、幻覚を引き起こす。
GPTをジオエンジニアリングに統合することで、プロフェッショナルは作業を合理化し、持続的で回復力のあるインフラシステムを開発することができる。
論文 参考訳（メタデータ） (2023-04-04T21:47:41Z) - Legal-Tech Open Diaries: Lesson learned on how to develop and deploy
light-weight models in the era of humongous Language Models [10.086015702323971]
私たちは、現代の法律技術スタートアップのR&Dグループのステップに従い、モデル開発とデプロイメントに関する重要な洞察を示します。
我々は、契約書や規制書に適合する複数のドメイン固有の多言語LMを事前訓練することで、ゼロから始める。
5つのダウンストリームタスクからなる半公的な半私的法定ベンチマークにおいて,そのようなモデルのベンチマーク結果を示す。
論文 参考訳（メタデータ） (2022-10-24T10:08:59Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。