論文の概要: Hierarchical Multimodal Interaction Reasoning for Dyadic Relationship Recognition

• arxiv url: http://arxiv.org/abs/2610.36249v1
• Date: Mon, 26 Oct 2026 20:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.197817
• Title: Hierarchical Multimodal Interaction Reasoning for Dyadic Relationship Recognition
• Title（参考訳）: 動的関係認識のための階層型多モード相互作用推論
• Abstract要約: ダイアド関係認識は、多モーダル相互作用から2人の個人間の潜伏した社会的関係を特定することを目的としている。 既存の手法は、通常、異質なキューを共有表現に投影し、関係が異なる相互作用パターンに依存する可能性があることを見越す。 本稿では,3つの視点から関係証拠を整理する階層型マルチモーダルインタラクション推論フレームワークHiRe-DRRを提案する。
• 参考スコア（独自算出の注目度）: 41.949097087178366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dyadic relationship recognition aims to identify the latent social relationship between two individuals from their multimodal interactions. Existing methods typically project heterogeneous cues into a shared representation and optimise a flat classification objective, overlooking that relationships may rely on different interaction patterns. For instance, distant relationships can often be inferred from direct behavioural correspondence, whereas close relationships are better reflected by coordinated affective, behavioural, and multimodal responses. To address this limitation, we propose HiRe-DRR, a Hierarchical Multimodal Interaction Reasoning framework that organises relationship evidence from three complementary perspectives: feature level, interaction type, and relationship hierarchy. HiRe-DRR decomposes facial, bodily, acoustic, and textual cues into low- and high-level representations and constructs homogeneous and heterogeneous cross-participant interactions. We further introduce the Mixture-of-Interaction Transformer (MoI-Former), which treats diverse interactions as specialised experts and employs relation-aware sparse routing to identify relationship-relevant evidence while preserving contextual interaction information. The proposed Hierarchical Conditional Loss (HC-Loss) exploits the hierarchical nature of social relationships through coarse-to-fine supervision, enabling structured relationship reasoning. Extensive experiments on three dyadic relationship benchmarks demonstrate that HiRe-DRR outperforms recent representative image-, video-, and multimodal methods. Our routing analysis further reveals that distant relationships tend to rely on low-level homogeneous interactions, whereas closer relationships focus on high-level heterogeneous interactions. Our code is publicly available at: https://github.com/tw-repository/HiRe-DRR.
• Abstract（参考訳）: ダイアド関係認識は、多モーダル相互作用から2人の個人間の潜伏した社会的関係を特定することを目的としている。 既存の手法は、通常、異質なキューを共有表現に投影し、フラットな分類目標を最適化し、関係が異なる相互作用パターンに依存する可能性があることを見越す。 例えば、親密な関係はしばしば直接の行動対応から推測されるが、密接な関係は協調された感情、行動的、マルチモーダルな反応によってよりよく反映される。 この制限に対処するために,特徴レベル,相互作用タイプ,関係階層という3つの相補的な視点から関係証拠を整理する階層的多モーダル相互作用推論フレームワークであるHiRe-DRRを提案する。 HiRe-DRRは、顔、身体、音響、およびテキストのキューを低レベル、高レベルな表現に分解し、同種、異種、異種間の相互作用を構築する。 さらに,Mixture-of-Interaction Transformer (MoI-Former)を導入し,多種多様な相互作用を専門の専門家として扱い,関連性のある証拠を識別し,文脈的相互作用情報を保存する。 提案された階層的条件損失(HC-Loss)は、粗い監督を通じて社会的関係の階層的な性質を利用して、構造化された関係推論を可能にする。 3つのダイアディック関係ベンチマークの大規模な実験により、HiRe-DRRは最近の代表画像、ビデオ、マルチモーダル法より優れていることが示された。 我々の経路解析により、遠縁関係は低レベルの均質相互作用に依存する傾向にあり、一方、近縁関係は高レベルの異質相互作用に注目することが明らかとなった。 私たちのコードは、https://github.com/tw-repository/HiRe-DRR.comで公開されています。

関連論文リスト

• Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
  We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。 インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。 インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
  論文  参考訳（メタデータ） (2026-08-20T17:51:48Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Document-level Relation Extraction with Relation Correlations [15.997345900917058]
  文書レベルの関係抽出は,長期問題と複数ラベル問題という,見落とされた2つの課題に直面している。 関係の共起相関を解析し,DocREタスクに初めて導入する。
  論文  参考訳（メタデータ） (2022-12-20T11:17:52Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。