論文の概要: Distributed Multi-Agent Coordination Using Multi-Modal Foundation Models

• arxiv url: http://arxiv.org/abs/2501.14189v1
• Date: Fri, 24 Jan 2025 02:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:33.034383
• Title: Distributed Multi-Agent Coordination Using Multi-Modal Foundation Models
• Title（参考訳）: マルチモーダルファンデーションモデルを用いた分散マルチエージェントコーディネート
• Authors: Saaduddin Mahmud, Dorian Benhamou Goldfajn, Shlomo Zilberstein,
• Abstract要約: 分散制約最適化問題(DCOP)は、マルチエージェント協調のための強力なフレームワークを提供するが、しばしば労働集約的な手動問題構築に依存している。 本稿では,視覚的および言語的指示から制約を自動的に生成する,大規模なマルチモーダル基礎モデル(LFM)を利用するフレームワークを提案する。 我々は,3つの新しいVL-DCOPタスクに対して,最先端のLLM(大規模言語モデル)とVLM(ビジョン言語モデル)を用いてエージェントアーチタイプを評価し,それぞれの利点と欠点を比較した。
• 参考スコア（独自算出の注目度）: 9.37268652939886
• License:
• Abstract: Distributed Constraint Optimization Problems (DCOPs) offer a powerful framework for multi-agent coordination but often rely on labor-intensive, manual problem construction. To address this, we introduce VL-DCOPs, a framework that takes advantage of large multimodal foundation models (LFMs) to automatically generate constraints from both visual and linguistic instructions. We then introduce a spectrum of agent archetypes for solving VL-DCOPs: from a neuro-symbolic agent that delegates some of the algorithmic decisions to an LFM, to a fully neural agent that depends entirely on an LFM for coordination. We evaluate these agent archetypes using state-of-the-art LLMs (large language models) and VLMs (vision language models) on three novel VL-DCOP tasks and compare their respective advantages and drawbacks. Lastly, we discuss how this work extends to broader frontier challenges in the DCOP literature.
• Abstract（参考訳）: 分散制約最適化問題(DCOP)は、マルチエージェント協調のための強力なフレームワークを提供するが、しばしば労働集約的な手動問題構築に依存している。 そこで本稿では,VL-DCOP(VL-DCOPs)という,大規模マルチモーダル基盤モデル(LFM)を利用して視覚的および言語的命令から制約を自動的に生成するフレームワークを紹介する。 次に、VL-DCOPを解くために、アルゴリズム決定の一部をLFMに委譲するニューロシンボリックエージェントから、協調のためのLFMに完全に依存する完全なニューラルエージェントまで、エージェントのアーキタイプについて紹介する。 我々は,3つの新しいVL-DCOPタスクに対して,最先端のLLM(大規模言語モデル)とVLM(ビジョン言語モデル)を用いてエージェントアーチタイプを評価し,それぞれの利点と欠点を比較した。 最後に,本研究がDCOP文学におけるより広範なフロンティア課題にどのように拡張されるかについて論じる。

関連論文リスト

• Cooperative Multi-Agent Planning with Adaptive Skill Synthesis [16.228784877899976]
  強化学習を用いたマルチエージェントシステムでは, サンプル効率, 解釈可能性, 伝達性に課題が生じる。 本稿では、視覚言語モデル(VLM)を動的スキルライブラリと統合し、分散化されたクローズドループ決定のための構造化通信を行う新しいマルチエージェントアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-14T13:23:18Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [52.739500459903724]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Controlling Large Language Model-based Agents for Large-Scale Decision-Making: An Actor-Critic Approach [28.477463632107558]
  我々はLLaMACと呼ばれるモジュラーフレームワークを開発し、大規模言語モデルにおける幻覚とマルチエージェントシステムにおける協調に対処する。 LLaMACは、人間の脳にあるものに似た値分布をコードし、内部および外部からのフィードバック機構を利用して、モジュール間の協調と反復的推論を促進する。
  論文  参考訳（メタデータ） (2023-11-23T10:14:58Z)
• Theory of Mind for Multi-Agent Collaboration via Large Language Models [5.2767999863286645]
  本研究では,多エージェント協調型テキストゲームにおけるLarge Language Models (LLMs) ベースのエージェントを,理論オブマインド (ToM) 推論タスクを用いて評価する。 LLMをベースとしたエージェント間の創発的協調行動と高次マインド理論の実証を行った。
  論文  参考訳（メタデータ） (2023-10-16T07:51:19Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents [9.840104333194663]
  我々は表現モデルの設計における階層性を主張し、新しいマルチモーダル表現モデルであるMUSEに貢献する。 MUSEは,アタリゲームにおけるマルチモーダル観察を備えた深層強化学習エージェントの感覚表現モデルである。 我々は、強化学習エージェントの異なる設計に関する比較研究を行い、MUSEは、エージェントが最小性能の損失で不完全な知覚経験の下でタスクを実行できることを示した。
  論文  参考訳（メタデータ） (2021-10-07T16:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。