論文の概要: Foundation Model Sherpas: Guiding Foundation Models through Knowledge
and Reasoning
- arxiv url: http://arxiv.org/abs/2402.01602v1
- Date: Fri, 2 Feb 2024 18:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 14:04:45.365531
- Title: Foundation Model Sherpas: Guiding Foundation Models through Knowledge
and Reasoning
- Title(参考訳): foundation model sherpas: 知識と推論による基盤モデルを導く
- Authors: Debarun Bhattacharjya, Junkyu Lee, Don Joven Agravante, Balaji
Ganesan, Radu Marinescu
- Abstract要約: ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。
FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。
エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
- 参考スコア(独自算出の注目度): 23.763256908202496
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Foundation models (FMs) such as large language models have revolutionized the
field of AI by showing remarkable performance in various tasks. However, they
exhibit numerous limitations that prevent their broader adoption in many
real-world systems, which often require a higher bar for trustworthiness and
usability. Since FMs are trained using loss functions aimed at reconstructing
the training corpus in a self-supervised manner, there is no guarantee that the
model's output aligns with users' preferences for a specific task at hand. In
this survey paper, we propose a conceptual framework that encapsulates
different modes by which agents could interact with FMs and guide them suitably
for a set of tasks, particularly through knowledge augmentation and reasoning.
Our framework elucidates agent role categories such as updating the underlying
FM, assisting with prompting the FM, and evaluating the FM output. We also
categorize several state-of-the-art approaches into agent interaction
protocols, highlighting the nature and extent of involvement of the various
agent roles. The proposed framework provides guidance for future directions to
further realize the power of FMs in practical AI systems.
- Abstract(参考訳): 大規模言語モデルのような基礎モデル(FM)は、様々なタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。
しかし、彼らは多くの現実世界のシステムで広く採用されるのを防ぐために、多くの制限を課している。
FMは,自己指導型コーパスの再構築を目的とした損失関数を用いて訓練されているため,モデルの出力が特定のタスクに対するユーザの好みと一致している保証はない。
本稿では,エージェントがFMと対話し,特に知識の増強や推論を通じて,タスクのセットに適した指導を行う,様々なモードをカプセル化する概念的枠組みを提案する。
本フレームワークは,FMの更新,FMのプロンプトの支援,FM出力の評価など,エージェントの役割のカテゴリを解明する。
また,エージェントインタラクションプロトコルに最先端のアプローチをいくつか分類し,エージェントの役割の性質と関与範囲を強調する。
提案するフレームワークは,現実的なAIシステムにおけるFMのパワーをさらに高めるための今後の方向性のガイダンスを提供する。
関連論文リスト
- MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - Delving into Multi-modal Multi-task Foundation Models for Road Scene
Understanding: From Learning Paradigm Perspectives [57.3734614555802]
本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。
本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。
我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
論文 参考訳(メタデータ) (2024-02-05T12:47:09Z) - Forging Vision Foundation Models for Autonomous Driving: Challenges,
Methodologies, and Opportunities [59.02391344178202]
ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。
総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。
本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
論文 参考訳(メタデータ) (2024-01-16T01:57:24Z) - A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:57:57Z) - 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。
当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。
提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
論文 参考訳(メタデータ) (2023-12-15T20:03:24Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - Large Language Models and Foundation Models in Smart Agriculture: Basics, Opportunities, and Challenges [14.29575512262016]
FMとしても知られる大規模な事前学習モデルは、言語、ビジョン、意思決定タスクにおいて顕著な成功を収めている。
その実証された効果と大きな潜在能力にもかかわらず、農業AIにFMを適用するという調査はほとんど行われていない。
本研究の目的は、スマート農業分野におけるFMの可能性を探ることである。
論文 参考訳(メタデータ) (2023-08-13T02:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。