論文の概要: TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs

• arxiv url: http://arxiv.org/abs/2303.16434v1
• Date: Wed, 29 Mar 2023 03:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 16:16:51.213128
• Title: TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs
• Title（参考訳）: TaskMatrix.AI: 数百万のAPIで基礎モデルを接続することでタスクを補完する
• Authors: Yaobo Liang, Chenfei Wu, Ting Song, Wenshan Wu, Yan Xia, Yu Liu, Yang Ou, Shuai Lu, Lei Ji, Shaoguang Mao, Yun Wang, Linjun Shou, Ming Gong, Nan Duan
• Abstract要約: 私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。 このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
• 参考スコア（独自算出の注目度）: 71.7495056818522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Intelligence (AI) has made incredible progress recently. On the one hand, advanced foundation models like ChatGPT can offer powerful conversation, in-context learning and code generation abilities on a broad range of open-domain tasks. They can also generate high-level solution outlines for domain-specific tasks based on the common sense knowledge they have acquired. However, they still face difficulties with some specialized tasks because they lack enough domain-specific data during pre-training or they often have errors in their neural network computations on those tasks that need accurate executions. On the other hand, there are also many existing models and systems (symbolic-based or neural-based) that can do some domain-specific tasks very well. However, due to the different implementation or working mechanisms, they are not easily accessible or compatible with foundation models. Therefore, there is a clear and pressing need for a mechanism that can leverage foundation models to propose task solution outlines and then automatically match some of the sub-tasks in the outlines to the off-the-shelf models and systems with special functionalities to complete them. Inspired by this, we introduce TaskMatrix.AI as a new AI ecosystem that connects foundation models with millions of APIs for task completion. Unlike most previous work that aimed to improve a single AI model, TaskMatrix.AI focuses more on using existing foundation models (as a brain-like central system) and APIs of other AI models and systems (as sub-task solvers) to achieve diversified tasks in both digital and physical domains. As a position paper, we will present our vision of how to build such an ecosystem, explain each key component, and use study cases to illustrate both the feasibility of this vision and the main challenges we need to address next.
• Abstract（参考訳）: 人工知能(AI)は最近驚くべき進歩を遂げた。 一方、ChatGPTのような高度な基盤モデルは、幅広いオープンドメインタスクに対して強力な会話、コンテキスト内学習、コード生成機能を提供する。 また、獲得した常識知識に基づいて、ドメイン固有のタスクの高レベルのソリューション概要を生成することもできる。 しかしながら、事前トレーニング中に十分なドメイン固有のデータが不足したり、正確な実行を必要とするタスクのニューラルネットワーク計算にエラーが発生する場合が多いため、一部の特殊なタスクでは依然として困難に直面している。 一方で、いくつかのドメイン固有のタスクをうまく行うことができる既存のモデルやシステム(記号ベースまたはニューラルベース)も数多く存在する。 しかし、異なる実装や動作メカニズムのため、基盤モデルと簡単にはアクセスできないし、互換性もない。 したがって、基礎モデルを利用してタスクソリューションのアウトラインを提案し、そのアウトライン内のいくつかのサブタスクと、それを完遂する特別な機能を持つオフザシェルフモデルとシステムとを自動でマッチングできるメカニズムが明確かつ強く必要である。 これに触発されたTaskMatrix.AIは、基礎モデルと数百万のAPIを結合してタスク補完を行う新しいAIエコシステムである。 単一のAIモデルを改善することを目的とした従来の作業とは異なり、TaskMatrix.AIは、既存の基盤モデル(脳に似た中央システムとして)と、他のAIモデルやシステム(サブタスクソルバとして)のAPIを使用して、デジタルドメインと物理ドメインの両方で多様なタスクを達成することに焦点を当てている。 ポジションペーパーとして、我々は、このようなエコシステムの構築方法、各主要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。

関連論文リスト

• A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
  視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。 汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。 VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
  論文  参考訳（メタデータ） (2024-05-23T01:43:54Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• SAI: Solving AI Tasks with Systematic Artificial Intelligence in Communication Network [4.302209772725456]
  Systematic Artificial Intelligence(SAI)は、Large Language Models(LLM)とインテントフォーマットベースのインプットを活用することで、AIタスクを解決するために設計されたフレームワークである。 SAIは、通信ネットワークで多数の複雑なAIタスクを完了し、ネットワーク最適化、リソース割り当て、その他の困難なタスクにおいて驚くべき結果を達成することができる。
  論文  参考訳（メタデータ） (2023-10-13T12:14:58Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face [85.25054021362232]
  大規模言語モデル(LLM)は、言語理解、生成、相互作用、推論において例外的な能力を示した。 LLMは、複雑なAIタスクを解決するために既存のAIモデルを管理するコントローラとして機能する可能性がある。 本稿では,機械学習コミュニティのさまざまなAIモデルを接続するLLMエージェントであるHuggingGPTを紹介する。
  論文  参考訳（メタデータ） (2023-03-30T17:48:28Z)
• Foundation models in brief: A historical, socio-technical focus [2.5991265608180396]
  ディープラーニングをスケールアップすることで、将来のAI開発には、ファンデーションモデルが破壊的になる可能性がある。 モデルは自然言語処理やコンピュータビジョンといった分野における様々なタスクにおいて最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-17T22:11:33Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• NeurAll: Towards a Unified Visual Perception Model for Automated Driving [8.49826472556323]
  本稿では,複数のタスクを同時に学習するためのマルチタスクネットワーク設計を提案する。 自動運転システムの主なボトルネックは、デプロイメントハードウェアで利用可能な限られた処理能力である。
  論文  参考訳（メタデータ） (2019-02-10T12:45:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。