論文の概要: An overview of domain-specific foundation model: key technologies, applications and challenges
- arxiv url: http://arxiv.org/abs/2409.04267v1
- Date: Fri, 6 Sep 2024 13:24:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:44:50.416620
- Title: An overview of domain-specific foundation model: key technologies, applications and challenges
- Title（参考訳）: ドメイン固有の基礎モデルの概要--鍵となる技術、応用、課題
- Authors: Haolong Chen, Hanzhi Chen, Zijian Zhao, Kaifeng Han, Guangxu Zhu, Yichen Zhao, Ying Du, Wei Xu, Qingjiang Shi,
- Abstract要約: この記事では、ドメイン固有の基礎モデルをカスタマイズするための方法論について、タイムリーかつ網羅的に概説する。
基本的な概念を導入し、一般的なアーキテクチャの概要を説明し、ドメイン固有のモデルを構築するための重要な方法を調査します。
- 参考スコア（独自算出の注目度）: 25.146374189455784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The impressive performance of ChatGPT and other foundation-model-based products in human language understanding has prompted both academia and industry to explore how these models can be tailored for specific industries and application scenarios. This process, known as the customization of domain-specific foundation models, addresses the limitations of general-purpose models, which may not fully capture the unique patterns and requirements of domain-specific data. Despite its importance, there is a notable lack of comprehensive overview papers on building domain-specific foundation models, while numerous resources exist for general-purpose models. To bridge this gap, this article provides a timely and thorough overview of the methodology for customizing domain-specific foundation models. It introduces basic concepts, outlines the general architecture, and surveys key methods for constructing domain-specific models. Furthermore, the article discusses various domains that can benefit from these specialized models and highlights the challenges ahead. Through this overview, we aim to offer valuable guidance and reference for researchers and practitioners from diverse fields to develop their own customized foundation models.
- Abstract（参考訳）: 人間の言語理解におけるChatGPTやその他の基礎モデルベースの製品のパフォーマンスは、学術と産業の両方に、これらのモデルが特定の産業やアプリケーションシナリオにどのように適合するかを探るきっかけとなった。
このプロセスはドメイン固有の基盤モデルのカスタマイズとして知られており、汎用モデルの限界に対処する。
その重要性にもかかわらず、ドメイン固有の基盤モデルの構築に関する包括的な概要論文が欠落しており、汎用モデルには多くのリソースが存在する。
このギャップを埋めるために、この記事はドメイン固有の基礎モデルをカスタマイズするための方法論を、タイムリーかつ徹底的に概観する。
基本的な概念を導入し、一般的なアーキテクチャの概要を説明し、ドメイン固有のモデルを構築するための重要な方法を調査します。
さらに、この記事では、これらの専門モデルから恩恵を受けることができるさまざまなドメインについて論じ、今後の課題を強調します。
そこで本研究では,様々な分野の研究者や実践者に対して,独自の基礎モデルを開発するための貴重なガイダンスと参考資料を提供することを目的とする。
関連論文リスト
- Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
テキスト分類の多元的領域一般化について検討する。
本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-20T07:46:21Z) - Generalist Multimodal AI: A Review of Architectures, Challenges and Opportunities [5.22475289121031]
マルチモーダルモデルは、人工知能の今後の進歩にとって重要な要素であると期待されている。
この研究は、新しいアーキテクチャと特定の分類学を訓練することで、一般のマルチモーダルモデルに対する新たな視点を提供する。
論文 参考訳（メタデータ） (2024-06-08T15:30:46Z) - Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。
従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。
本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-02T22:15:48Z) - A Survey for Foundation Models in Autonomous Driving [10.315409708116865]
大規模言語モデルは、自動運転における計画とシミュレーションに寄与する。
ビジョンファウンデーションモデルは、3Dオブジェクトの検出やトラッキングといった重要なタスクに適応している。
多様な入力を統合するマルチモーダル基礎モデルは、例外的な視覚的理解と空間的推論を示す。
論文 参考訳（メタデータ） (2024-02-02T02:44:59Z) - Large Models for Time Series and Spatio-Temporal Data: A Survey and
Outlook [95.32949323258251]
時系列データ、特に時系列データと時間時間データは、現実世界のアプリケーションで広く使われている。
大規模言語やその他の基礎モデルの最近の進歩は、時系列データマイニングや時間データマイニングでの使用の増加に拍車を掛けている。
論文 参考訳（メタデータ） (2023-10-16T09:06:00Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - CHORUS: Foundation Models for Unified Data Discovery and Exploration [6.85448651843431]
基礎モデルは,データ発見およびデータ探索領域に適用可能であることを示す。
基礎モデルに基づくアプローチは,タスク固有のモデルよりも優れており,その技術の現状を示す。
これは、異なるデータ管理タスクを基礎モデルの下で統一できる将来的な方向性を示唆している。
論文 参考訳（メタデータ） (2023-06-16T03:58:42Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳（メタデータ） (2023-05-30T03:00:30Z) - Foundation Models for Decision Making: Problems, Methods, and
Opportunities [124.79381732197649]
大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。
ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。
基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
論文 参考訳（メタデータ） (2023-03-07T18:44:07Z) - A Case for Business Process-Specific Foundation Models [6.25118865553438]
ビジネスプロセスデータ表現には,新たな基盤モデルの開発を保証できるユニークな特徴がある,と我々は主張する。
これらのモデルは、データ不足、マルチモーダル表現、ドメイン固有の用語、プライバシに関する懸念を含む、ビジネスプロセスにAIを適用するというユニークな課題に取り組む必要がある。
論文 参考訳（メタデータ） (2022-10-26T14:17:47Z) - Polynomial Networks in Deep Classifiers [55.90321402256631]
我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。
私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。
提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
論文 参考訳（メタデータ） (2021-04-16T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。