論文の概要: Enhancing Human-Centered Dynamic Scene Understanding via Multiple LLMs Collaborated Reasoning

• arxiv url: http://arxiv.org/abs/2403.10107v1
• Date: Fri, 15 Mar 2024 08:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:59:52.046012
• Title: Enhancing Human-Centered Dynamic Scene Understanding via Multiple LLMs Collaborated Reasoning
• Title（参考訳）: 複数LLM協調推論による人間中心動的シーン理解の強化
• Authors: Hang Zhang, Wenxiao Zhang, Haoxuan Qu, Jun Liu,
• Abstract要約: ビデオベースヒューマンオブジェクトインタラクション(V-HOI)検出は,セマンティックシーン理解において重要な課題である。 以前のV-HOI検出モデルは、特定のデータセットの正確な検出に大きく進歩した。 本稿では、現在のV-HOI検出モデルの性能向上を図るために、V-HOI Multi-LLMs Collaborated Reasoning (V-HOI MLCR)を提案する。
• 参考スコア（独自算出の注目度）: 11.526471286502993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-centered dynamic scene understanding plays a pivotal role in enhancing the capability of robotic and autonomous systems, in which Video-based Human-Object Interaction (V-HOI) detection is a crucial task in semantic scene understanding, aimed at comprehensively understanding HOI relationships within a video to benefit the behavioral decisions of mobile robots and autonomous driving systems. Although previous V-HOI detection models have made significant strides in accurate detection on specific datasets, they still lack the general reasoning ability like human beings to effectively induce HOI relationships. In this study, we propose V-HOI Multi-LLMs Collaborated Reasoning (V-HOI MLCR), a novel framework consisting of a series of plug-and-play modules that could facilitate the performance of current V-HOI detection models by leveraging the strong reasoning ability of different off-the-shelf pre-trained large language models (LLMs). We design a two-stage collaboration system of different LLMs for the V-HOI task. Specifically, in the first stage, we design a Cross-Agents Reasoning scheme to leverage the LLM conduct reasoning from different aspects. In the second stage, we perform Multi-LLMs Debate to get the final reasoning answer based on the different knowledge in different LLMs. Additionally, we devise an auxiliary training strategy that utilizes CLIP, a large vision-language model to enhance the base V-HOI models' discriminative ability to better cooperate with LLMs. We validate the superiority of our design by demonstrating its effectiveness in improving the prediction accuracy of the base V-HOI model via reasoning from multiple perspectives.
• Abstract（参考訳）: ビデオベースのヒューマンオブジェクトインタラクション(V-HOI)検出は、ビデオ内のHOI関係を包括的に理解して、移動ロボットや自律運転システムの行動決定の恩恵を受けることを目的とした、セマンティックシーン理解において重要なタスクである。 これまでのV-HOI検出モデルは、特定のデータセットの正確な検出に大きく貢献してきたが、HOIの関係を効果的に誘導する人間のような一般的な推論能力はいまだに欠如している。 本研究では,V-HOI MLCR(V-HOI Multi-LLMs Collaborated Reasoning, V-HOI MLCR)を提案する。 V-HOIタスクのための異なるLLMの2段階協調システムを設計する。 特に第1段階では,異なる側面からLLMの導電率を推定するクロスエージェント推論方式を設計する。 第2段階では、異なるLLMの異なる知識に基づいて最終推論の答えを得るために、マルチLLMを議論する。 さらに,大規模な視覚言語モデルであるCLIPを用いて,LLMとよりよく連携するV-HOIモデルの識別能力を高めるための補助訓練戦略を考案した。 複数の視点から推測することで,基本V-HOIモデルの予測精度を向上させる上での有効性を示すことによって,設計の優位性を検証した。

関連論文リスト

• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models [14.130327598928778]
  大規模言語モデル (LLMs) と階層型運動固有ベクトル量子化変分オートエンコーダ (VQ-VAEs) を提案する。 我々のフレームワークは、現実的で多様な協調的な人間-オブジェクト-ヒューマンインタラクションを生成し、最先端の手法より優れています。 我々の研究は、ロボット工学、グラフィックス、コンピュータビジョンなど、様々な領域における複雑な相互作用をモデリングする新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-09-30T17:02:13Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• In-Context Learning Improves Compositional Understanding of Vision-Language Models [2.762909189433944]
  合成画像理解は、トレーニングデータに存在する物体バイアスのため、かなり難しい課題である。 コントラストモデルと生成モデルを比較し、アーキテクチャの違い、事前学習データ、トレーニングタスクと損失を分析します。 提案手法は,複数の構成的理解データセットにまたがるベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2024-07-22T09:03:29Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Expanding Frozen Vision-Language Models without Retraining: Towards Improved Robot Perception [0.0]
  視覚言語モデル(VLM)は、視覚的質問応答と推論タスクにおいて強力な能力を示している。 本稿では,異なるモダリティの埋め込み空間を視覚埋め込み空間に整列させる手法を示す。 複数モードを入力として使用すると、VLMのシーン理解が向上し、様々なタスクにおける全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-08-31T06:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。