Fugu-MT 論文翻訳(概要): MERGE: Guided Vision-Language Models for Multi-Actor Event Reasoning and Grounding in Human-Robot Interaction

論文の概要: MERGE: Guided Vision-Language Models for Multi-Actor Event Reasoning and Grounding in Human-Robot Interaction

arxiv url: http://arxiv.org/abs/2603.18988v1
Date: Thu, 19 Mar 2026 14:57:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-21 18:33:56.992752
Title: MERGE: Guided Vision-Language Models for Multi-Actor Event Reasoning and Grounding in Human-Robot Interaction
Title（参考訳）: MERGE:人間-ロボットインタラクションにおけるマルチアクターイベント推論とグラウンド化のためのガイド付き視覚言語モデル
Authors: Joerg Deigmoeller, Nakul Agarwal, Stephan Hasler, Daniel Tanneberg, Anna Belardinelli, Reza Ghoddoosian, Chao Wang, Felix Ocker, Fan Zhang, Behzad Dariush, Michael Gienger,
Abstract要約: 本稿では,動的な人間-ロボットグループインタラクションにおけるアクター,オブジェクト,イベントの状況把握システムであるMERGEを紹介する。 MERGEの中心は、知覚パイプラインでガイドされるビジョン言語モデル(VLM)の統合である。我々は,多対人インタラクションと人間-ロボットインタラクションの詳細な状況アノテーションを提供するGROUNDデータセットを紹介した。
参考スコア（独自算出の注目度）: 22.213187234826254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce MERGE, a system for situational grounding of actors, objects, and events in dynamic human-robot group interactions. Effective collaboration in such settings requires consistent situational awareness, built on persistent representations of people and objects and an episodic abstraction of events. MERGE achieves this by uniquely identifying physical instances of actors (humans or robots) and objects and structuring them into actor-action-object relations, ensuring temporal consistency across interactions. Central to MERGE is the integration of Vision-Language Models (VLMs) guided with a perception pipeline: a lightweight streaming module continuously processes visual input to detect changes and selectively invokes the VLM only when necessary. This decoupled design preserves the reasoning power and zero-shot generalization of VLMs while improving efficiency, avoiding both the high monetary cost and the latency of frame-by-frame captioning that leads to fragmented and delayed outputs. To address the absence of suitable benchmarks for multi-actor collaboration, we introduce the GROUND dataset, which offers fine-grained situational annotations of multi-person and human-robot interactions. On this dataset, our approach improves the average grounding score by a factor of 2 compared to the performance of VLM-only baselines - including GPT-4o, GPT-5 and Gemini 2.5 Flash - while also reducing run-time by a factor of 4. The code and data are available at www.github.com/HRI-EU/merge.
Abstract（参考訳）: 本稿では,動的な人間-ロボットグループインタラクションにおけるアクター,オブジェクト,イベントの状況把握システムであるMERGEを紹介する。このような状況下での効果的なコラボレーションには、人やオブジェクトの永続的な表現と、イベントのエピソジックな抽象化に基づいて構築された、一貫した状況認識が必要である。 MERGEは、アクター(人間やロボット)とオブジェクトの物理的インスタンスをユニークに識別し、アクター-アクション-オブジェクト関係に構造化することで、インタラクション間の時間的一貫性を確保する。 MERGEの中心となるのは、VLM(Vision-Language Models)と知覚パイプラインを統合した統合である。この分離された設計はVLMの推論能力とゼロショットの一般化を保ちながら効率を向上し、高い金銭的コストとフレーム単位のキャプションの遅延を回避し、断片化および遅延出力につながる。マルチアクタ協調のための適切なベンチマークの欠如に対処するため,多対人インタラクションと人間-ロボットインタラクションの詳細な状況アノテーションを提供するGROUNDデータセットを紹介した。 GPT-4o, GPT-5, Gemini 2.5 Flashなど, VLMのみのベースラインの性能と比較して平均グラウンドスコアを2倍改善し, 実行時間も4。コードとデータはwww.github.com/HRI-EU/mergeで入手できる。

関連論文リスト

Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection [108.5042835056188]
この作業では,2つの基本的な問題に対処するため,Agent4FaceForgeryを導入している。人間の偽造の多様な意図と反復的なプロセスを捉える方法。ソーシャルメディアの偽造に付随する複雑な、しばしば敵対的な、テキストと画像のインタラクションをモデル化する方法。
論文参考訳（メタデータ） (2025-09-16T01:05:01Z)
Aligning Effective Tokens with Video Anomaly in Large Language Models [42.99603812716817]
本稿では,様々なビデオにおける異常事象の要約と局所化を目的とした新しいMLLMであるVA-GPTを提案する。提案手法は,視覚エンコーダとLCM間の有効トークンを2つの重要なモジュールを通して効率的に整列する。本研究では,ビデオアノマ対応MLLMの微調整のための命令追従データセットを構築した。
論文参考訳（メタデータ） (2025-08-08T14:30:05Z)
Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。提案手法は最先端のHOI法と比較して競争性能が向上する。
論文参考訳（メタデータ） (2023-11-03T07:25:57Z)
Two-stream Multi-level Dynamic Point Transformer for Two-person Interaction Recognition [45.0131792009999]
本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。我々のネットワークは、ほとんどの標準的な評価設定において最先端のアプローチよりも優れています。
論文参考訳（メタデータ） (2023-07-22T03:51:32Z)
Bidirectional Correlation-Driven Inter-Frame Interaction Transformer for Referring Video Object Segmentation [44.952526831843386]
RVOSにおけるこれらの問題に対処するために,BIFITと呼ばれる相関駆動のフレーム間相互作用変換器を提案する。具体的には、デコーダ内の軽量なプラグアンドプレイフレーム間相互作用モジュールを設計する。視覚的特徴と言語的特徴の相関を容易にするために、トランスフォーマーの前に視覚フェリング相互作用が実装される。
論文参考訳（メタデータ） (2023-07-02T10:29:35Z)
AOE-Net: Entities Interactions Modeling with Adaptive Attention Mechanism for Temporal Action Proposals Generation [24.81870045216019]
時間的アクションプロポーザル生成(TAPG)は、未トリミングビデオにおける動作間隔のローカライズを必要とする課題である。マルチモーダル表現ネットワーク、すなわちアクター・オブジェクト・環境相互作用ネットワーク(AOE-Net)を用いてこれらの相互作用をモデル化することを提案する。私たちのAOE-Netは、知覚に基づくマルチモーダル表現(PMR)と境界マッチングモジュール(BMM)の2つのモジュールで構成されています。
論文参考訳（メタデータ） (2022-10-05T21:57:25Z)
AEI: Actors-Environment Interaction with Adaptive Attention for Temporal Action Proposals Generation [15.360689782405057]
本研究では,時間的行動提案生成のための映像表現を改善するために,アクタ環境インタラクション(AEI)ネットワークを提案する。 AEIは2つのモジュール、すなわち知覚に基づく視覚表現(PVR)と境界マッチングモジュール(BMM)を含んでいる。
論文参考訳（メタデータ） (2021-10-21T20:43:42Z)
Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
論文参考訳（メタデータ） (2021-08-19T11:57:27Z)
GID-Net: Detecting Human-Object Interaction with Global and Instance Dependency [67.95192190179975]
GIDブロックと呼ばれる2段階の訓練可能な推論機構を導入する。 GID-Netは、ヒューマンブランチ、オブジェクトブランチ、インタラクションブランチで構成される、人間とオブジェクトのインタラクション検出フレームワークである。我々は,提案したGID-Netを,V-COCOとHICO-DETを含む2つの公開ベンチマーク上で既存の最先端手法と比較した。
論文参考訳（メタデータ） (2020-03-11T11:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。