論文の概要: A modular architecture for creating multimodal agents

• arxiv url: http://arxiv.org/abs/2206.00636v1
• Date: Wed, 1 Jun 2022 17:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:32:03.540379
• Title: A modular architecture for creating multimodal agents
• Title（参考訳）: マルチモーダルエージェント作成のためのモジュラーアーキテクチャ
• Authors: Thomas Baier and Selene Baez Santamaria and Piek Vossen
• Abstract要約: マルチモーダル・インタラクティブ・エージェントを作成するためのフレキシブルでモジュラーなプラットフォームについて説明する。 プラットフォームはイベントバスを通じて動作し、信号と解釈が時系列に投稿される。 これまでに開発され、様々な対話型エージェントに統合された幅広いコンポーネントについて説明する。
• 参考スコア（独自算出の注目度）: 2.166951056466717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The paper describes a flexible and modular platform to create multimodal interactive agents. The platform operates through an event-bus on which signals and interpretations are posted in a sequence in time. Different sensors and interpretation components can be integrated by defining their input and output as topics, which results in a logical workflow for further interpretations. We explain a broad range of components that have been developed so far and integrated into a range of interactive agents. We also explain how the actual interaction is recorded as multimodal data as well as in a so-called episodic Knowledge Graph. By analysing the recorded interaction, we can analyse and compare different agents and agent components.
• Abstract（参考訳）: マルチモーダル・インタラクティブ・エージェントを作成するための柔軟でモジュール化されたプラットフォームについて説明する。 プラットフォームはイベントバスを通じて動作し、信号と解釈が時系列に表示される。 さまざまなセンサと解釈コンポーネントは、入力と出力をトピックとして定義することで統合することができる。 これまで開発されてきたさまざまなコンポーネントを,さまざまな対話型エージェントに統合して説明します。 また、実際のインタラクションがマルチモーダルデータとして記録されるか、あるいはいわゆるエピソード知識グラフで説明する。 記録された相互作用を分析することで、異なるエージェントとエージェントコンポーネントを分析し比較することができる。

関連論文リスト

• Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
  エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。 我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
  論文  参考訳（メタデータ） (2024-01-07T19:11:18Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• InterMulti:Multi-view Multimodal Interactions with Text-dominated Hierarchical High-order Fusion for Emotion Analysis [10.048903012988882]
  異なる視点から複雑なマルチモーダルインタラクションを捉えるためのマルチモーダル感情分析フレームワークであるInterMultiを提案する。 提案フレームワークは,異なるモードの信号を3種類のマルチモーダル相互作用表現に分解する。 THHFモジュールは上記の3種類の表現を包括的マルチモーダル相互作用表現に合理的に統合する。
  論文  参考訳（メタデータ） (2022-12-20T07:02:32Z)
• Interaction Modeling with Multiplex Attention [17.04973256281265]
  マルチエージェントシステムを正確にモデル化する手法を提案する。 提案手法は, 軌道予測や関係推定において, 最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-23T00:29:18Z)
• Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
  マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。 近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。 ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
  論文  参考訳（メタデータ） (2021-12-27T10:00:16Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)
• Situated and Interactive Multimodal Conversations [21.391260370502224]
  我々は,Situated Interactive MultiModal Conversations (SIMMC) をトレーニングエージェントの新たな方向性として紹介する。 マルチモーダルWizard-of-Oz(WoZ)セットアップを用いて,13K人の対話(169K発話)を総括した2つのSIMMCデータセットを提供する。 本稿では,構造化API予測や応答生成などの客観的評価プロトコルとして,SIMMC内のいくつかのタスクを提示する。
  論文  参考訳（メタデータ） (2020-06-02T09:02:23Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。