論文の概要: An Interactive Agent Foundation Model

• arxiv url: http://arxiv.org/abs/2402.05929v2
• Date: Mon, 17 Jun 2024 15:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-19 06:25:35.767501
• Title: An Interactive Agent Foundation Model
• Title（参考訳）: 対話型エージェント基礎モデル
• Abstract要約: 本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
• 参考スコア（独自算出の注目度）: 49.77861810045509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.
• Abstract（参考訳）: 人工知能システムの開発は、静的なタスク固有のモデルから、幅広いアプリケーションでうまく機能する動的エージェントベースのシステムへと移行しつつある。 多様なドメイン、データセット、タスクにまたがるAIエージェントのトレーニングに、新しいマルチタスクエージェントトレーニングパラダイムを使用するインタラクティブエージェント財団モデルを提案する。 私たちのトレーニングパラダイムは、ビジュアルマスク付きオートエンコーダ、言語モデリング、次世代予測など、さまざまな事前トレーニング戦略を統合することで、汎用的で適応可能なAIフレームワークを実現しています。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。 本モデルでは,各領域において意味的かつ文脈的に関係のある出力を生成する能力を示す。 提案手法の強みは,ロボットシーケンス,ゲームプレイデータ,大規模ビデオデータセット,テキスト情報など,さまざまなデータソースを有効マルチモーダル・マルチタスク学習に活用することにある。 我々のアプローチは、ジェネラリスト、アクションテイク、マルチモーダルシステムを開発するための有望な道を提供する。

関連論文リスト

• Beyond Static Instruction: A Multi-agent AI Framework for Adaptive Augmented Reality Robot Training [17.41874642505417]
  Augmented Reality(AR)は、産業用ロボットのトレーニングに強力な視覚化機能を提供する。 現在のインターフェイスは、主に静的であり、学習者の多様な認知プロファイルを説明できない。 本稿では,静的な可視化と教育的インテリジェンスとのギャップを埋める,将来的な統合のためのマルチエージェントAIフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-31T12:33:52Z)
• A Versatile Multimodal Agent for Multimedia Content Generation [66.86040734610073]
  複雑なコンテンツ作成タスクの自動化を目的としたMultiMedia-Agentを提案する。 エージェントシステムには、データ生成パイプライン、コンテンツ作成のためのツールライブラリ、嗜好アライメントを評価するためのメトリクスセットが含まれている。
  論文  参考訳（メタデータ） (2026-01-06T18:49:47Z)
• Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems [75.78934957242403]
  自動運転車とドローンは、マルチモーダル搭載センサーデータから真の空間情報を必要とする。 本稿では,この目標に向かって進む中核的な技術群を同定し,マルチモーダル・プレトレーニングのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-30T17:58:01Z)
• EL3DD: Extended Latent 3D Diffusion for Language Conditioned Multitask Manipulation [16.468655011980843]
  本稿では,ロボットの正確な軌道を生成するために,ビジュモータポリシフレームワーク内での拡散モデルの有用性を活用することを目的とする。 トレーニング中に参照デモを利用することで、ロボットの即時環境内でテキストコマンドによって指定された操作タスクを実行することができる。
  論文  参考訳（メタデータ） (2025-11-17T12:47:18Z)
• A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents [3.5315128335063286]
  ファンデーションモデルは大量のデータを処理でき、リッチな表現を抽出して開発することができる。 しかしながら、スクラッチからモデル全体をトレーニングすることなく、動的で現実的なシナリオに適応することにはまだ問題があります。 我々は、より柔軟で効率的でスマートなAIソリューションの開発を促進するために、継続的な学習と構成原則の適用を提案する。
  論文  参考訳（メタデータ） (2025-10-21T13:06:52Z)
• Towards a Foundation Model for Communication Systems [16.85529517183343]
  本研究では,コミュニケーションデータの基礎モデルに向けて一歩踏み出した。 本稿では,トークン化,位置埋め込み,マルチモーダリティ,可変特徴量,正規化など,重要な課題に対処する手法を提案する。 本研究では,送信ランク,選択したプリコーダ,ドップラー拡散,遅延プロファイルなど,複数の特徴を推定できることを実証的に実証する。
  論文  参考訳（メタデータ） (2025-05-20T16:52:11Z)
• Survey of Large Multimodal Model Datasets, Application Categories and Taxonomy [2.294223504228228]
  人工知能の急速に発展する分野であるマルチモーダル学習は、より汎用的で堅牢なシステムの構築を目指している。 多くの感覚を通じて情報を同化する人間の能力に触発され、テキストからビデオへの変換、視覚的質問応答、画像キャプションなどの応用が可能となる。 マルチモーダル言語モデル(MLLM)をサポートするデータセットの最近の発展について概説する。
  論文  参考訳（メタデータ） (2024-12-23T18:15:19Z)
• COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models [14.130327598928778]
  大規模言語モデル (LLMs) と階層型運動固有ベクトル量子化変分オートエンコーダ (VQ-VAEs) を提案する。 我々のフレームワークは、現実的で多様な協調的な人間-オブジェクト-ヒューマンインタラクションを生成し、最先端の手法より優れています。 我々の研究は、ロボット工学、グラフィックス、コンピュータビジョンなど、様々な領域における複雑な相互作用をモデリングする新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-09-30T17:02:13Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action Chunking [54.776890150458385]
  マルチタスク操作能力を持つユニバーサルエージェントを訓練するための効率的なシステムを開発した。 私たちは、12のスキルを持つ1つのエージェントを訓練することができ、38のタスクでその一般化を実証することができます。 平均すると、RoboAgentは目に見えない状況において、従来の方法よりも40%以上性能が高い。
  論文  参考訳（メタデータ） (2023-09-05T03:14:39Z)
• Multi-Agent Collaboration: Harnessing the Power of Intelligent LLM Agents [0.0]
  本稿では,マルチエージェントシステムのパワーを活用した大規模言語モデル(LLM)の能力向上のための新しいフレームワークを提案する。 本フレームワークでは,複数の知的エージェントコンポーネントがそれぞれ特有な属性と役割を持つ協調環境を導入し,複雑なタスクをより効率的に効率的に処理する。
  論文  参考訳（メタデータ） (2023-06-05T23:55:37Z)
• Interaction Modeling with Multiplex Attention [17.04973256281265]
  マルチエージェントシステムを正確にモデル化する手法を提案する。 提案手法は, 軌道予測や関係推定において, 最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-23T00:29:18Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。