論文の概要: Distributed Multi-Agent Coordination Using Multi-Modal Foundation Models

• arxiv url: http://arxiv.org/abs/2501.14189v1
• Date: Fri, 24 Jan 2025 02:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 20:40:39.616807
• Title: Distributed Multi-Agent Coordination Using Multi-Modal Foundation Models
• Title（参考訳）: マルチモーダルファンデーションモデルを用いた分散マルチエージェントコーディネート
• Authors: Saaduddin Mahmud, Dorian Benhamou Goldfajn, Shlomo Zilberstein,
• Abstract要約: 分散制約最適化問題(DCOP)は、マルチエージェント協調のための強力なフレームワークを提供するが、しばしば労働集約的な手動問題構築に依存している。 本稿では,視覚的および言語的指示から制約を自動的に生成する,大規模なマルチモーダル基礎モデル(LFM)を利用するフレームワークを提案する。 我々は,3つの新しいVL-DCOPタスクに対して,最先端のLLM(大規模言語モデル)とVLM(ビジョン言語モデル)を用いてエージェントアーチタイプを評価し,それぞれの利点と欠点を比較した。
• 参考スコア（独自算出の注目度）: 9.37268652939886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed Constraint Optimization Problems (DCOPs) offer a powerful framework for multi-agent coordination but often rely on labor-intensive, manual problem construction. To address this, we introduce VL-DCOPs, a framework that takes advantage of large multimodal foundation models (LFMs) to automatically generate constraints from both visual and linguistic instructions. We then introduce a spectrum of agent archetypes for solving VL-DCOPs: from a neuro-symbolic agent that delegates some of the algorithmic decisions to an LFM, to a fully neural agent that depends entirely on an LFM for coordination. We evaluate these agent archetypes using state-of-the-art LLMs (large language models) and VLMs (vision language models) on three novel VL-DCOP tasks and compare their respective advantages and drawbacks. Lastly, we discuss how this work extends to broader frontier challenges in the DCOP literature.
• Abstract（参考訳）: 分散制約最適化問題(DCOP)は、マルチエージェント協調のための強力なフレームワークを提供するが、しばしば労働集約的な手動問題構築に依存している。 そこで本稿では,VL-DCOP(VL-DCOPs)という,大規模マルチモーダル基盤モデル(LFM)を利用して視覚的および言語的命令から制約を自動的に生成するフレームワークを紹介する。 次に、VL-DCOPを解くために、アルゴリズム決定の一部をLFMに委譲するニューロシンボリックエージェントから、協調のためのLFMに完全に依存する完全なニューラルエージェントまで、エージェントのアーキタイプについて紹介する。 我々は,3つの新しいVL-DCOPタスクに対して,最先端のLLM(大規模言語モデル)とVLM(ビジョン言語モデル)を用いてエージェントアーチタイプを評価し,それぞれの利点と欠点を比較した。 最後に,本研究がDCOP文学におけるより広範なフロンティア課題にどのように拡張されるかについて論じる。

関連論文リスト

• QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [4.429189958406034]
  マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。 大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。 いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-17T14:07:11Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [52.739500459903724]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• MaCTG: Multi-Agent Collaborative Thought Graph for Automatic Programming [10.461509044478278]
  MaCTG (MultiAgent Collaborative Thought Graph) は動的グラフ構造を用いる新しいマルチエージェントフレームワークである。 プログラム要求に基づいてエージェントロールを自律的に割り当て、タスクの分散を動的に洗練し、プロジェクトレベルのコードを体系的に検証し統合する。 MaCTGは既存のマルチエージェントフレームワークと比較して運用コストを89.09%削減した。
  論文  参考訳（メタデータ） (2024-10-25T01:52:15Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Controlling Large Language Model-based Agents for Large-Scale Decision-Making: An Actor-Critic Approach [28.477463632107558]
  我々はLLaMACと呼ばれるモジュラーフレームワークを開発し、大規模言語モデルにおける幻覚とマルチエージェントシステムにおける協調に対処する。 LLaMACは、人間の脳にあるものに似た値分布をコードし、内部および外部からのフィードバック機構を利用して、モジュール間の協調と反復的推論を促進する。
  論文  参考訳（メタデータ） (2023-11-23T10:14:58Z)
• Theory of Mind for Multi-Agent Collaboration via Large Language Models [5.2767999863286645]
  本研究では,多エージェント協調型テキストゲームにおけるLarge Language Models (LLMs) ベースのエージェントを,理論オブマインド (ToM) 推論タスクを用いて評価する。 LLMをベースとしたエージェント間の創発的協調行動と高次マインド理論の実証を行った。
  論文  参考訳（メタデータ） (2023-10-16T07:51:19Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。