論文の概要: HEIR: Learning Human-Entity Interactions with Functional Roles

• arxiv url: http://arxiv.org/abs/2609.35955v1
• Date: Mon, 28 Sep 2026 17:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.910365
• Title: HEIR: Learning Human-Entity Interactions with Functional Roles
• Title（参考訳）: HEIR:ヒューマン・エンティティ・インタラクションと機能的役割の学習
• Abstract要約: HEIRは、対象物、対人、自己指向のインタラクションを対象とする、完全に接地された参加者ロールセットのイメージベンチマークである。 また,役割条件付きエビデンスを組み合わせ,正規化された参加者ロールセットを予測するために共有エンティティIDを使用するCoRISPについても紹介する。 CoRISPは、HEIRにおける繰り返しのイベントと共有の参加者画像の評価システムをそれぞれ2.87と3.82のmAPポイントでリードする。
• 参考スコア（独自算出の注目度）: 26.57842858313592
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding human-entity interactions requires recovering each person-action event's participants, roles, and shared identities. This structure can support embodied agents by clarifying who acts on which entities and how, informing anticipation and coordination in shared environments. Standard HOI metrics score individual links, leaving complete event composition undermeasured. We introduce HEIR (Human-Entity Interactions with Functional Roles), an image benchmark for complete grounded participant-role sets across object, interpersonal, and self-directed interactions. It contains 18,730 images, six roles, 105 actions, and 437 nouns, with shared entities, role changes, and repeated fillers; 51.6% of images contain multiple actors and 62.1% contain multiple actions. HEIR pairs relation AP with complete-set AP and structural evaluation. We also introduce CoRISP (Compositional Role-aware Interaction Set Prediction), which uses shared entity identities to combine role-conditioned evidence and predict normalized participant-role sets. Cardinality and role-multiplicity potentials couple assignments through event size and role composition, with exact per-event normalization. Across 16 baselines, relation and complete-event rankings diverge even after aligning action weights. CoRISP leads the evaluated systems on repeated-role events and shared-participant images in HEIR by 2.87 and 3.82 Set mAP points, respectively. On V-COCO, CoRISP achieves 73.72/76.23 role AP and 61.06/68.59 complete-set AP on two-slot actions under Scenarios 1/2. These results show the value of learning and evaluating event composition alongside individual relations. The code and dataset are publicly available at https://github.com/Kratos-Wen/HEIR.
• Abstract（参考訳）: 対人関係を理解するには、各個人行動イベントの参加者、役割、共有アイデンティティを回復する必要がある。 この構造は、誰がどの実体に対して行動し、どのようにして、共有環境における予測と調整を行うかを明確にすることで、具体化エージェントをサポートすることができる。 標準HOIメトリクスは個々のリンクをスコアし、完全なイベント構成を過小評価する。 HEIR(Human-Entity Interactions with Functional Roles, Human-Entity Interactions with Functional Roles, Human-Entity Interactions)は、対象物、対人、自己指向のインタラクションを対象とする、完全に接地された参加者ロールセットのイメージベンチマークである。 18,730のイメージ、6つのロール、105のアクション、437の名詞、共有エンティティ、ロール変更、繰り返しフィラーが含まれており、51.6%のイメージは複数のアクターを含み、62.1%は複数のアクションを含んでいる。 HEIRペアAPと完全セットAPと構造評価 また,CoRISP(Compositional Role-aware Interaction Set Prediction)を導入し,役割条件付きエビデンスを組み合わせ,正規化された参加者ロールセットを予測する。 カーディナリティとロール多重性ポテンシャルは、イベントサイズとロール構成を通じて、正確に1イベント当たりの正規化によって2つの割り当てを結合する。 アクションウェイトを調整した後でも、ベースライン、リレーション、フルイベントランキングは16を超える。 CoRISPは、HEIRにおける繰り返しのイベントと共有の参加者画像の評価システムをそれぞれ2.87と3.82のmAPポイントでリードする。 V-COCOでは、CoRISPは73.72/76.23ロールAPと61.06/68.59フルセットAPを達成した。 これらの結果は,個々の関係と並行してイベント構成を学習し,評価することの価値を示す。 コードとデータセットはhttps://github.com/Kratos-Wen/HEIRで公開されている。

関連論文リスト

• HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration [62.19372189311434]
  HRIBenchは,実行シナリオに基づいた意図認識型人間ロボットコラボレーションの診断ベンチマークである。 HRIBenchは、エージェントの役割、時間的依存、調整の制約、人間の振る舞いの分布を明示的にモデル化する構造化シナリオスクリプトとして、協調的なタスクを表現している。 その結果,現状の基盤ロボット政策は,操作能力が強いにもかかわらず,協調的な環境下では極めて困難であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-05T09:15:35Z)
• Towards Customized Multimodal Role-Play [50.72454102691162]
  マルチモーダル理解と生成モデルは、よりリッチなヒューマン-AIインタラクションを可能にする。 しかし、文字のペルソナ、対話スタイル、視覚的アイデンティティを共同でカスタマイズする一方で、モダリティ間の出力一貫性を維持することは、ほとんど探索されていない。 本研究では,20文字からなるRoleScape-20データセットを構築した。 UniCharacterは、Unified Supervised Finetuning(Unified-SFT)とCharacter-GRPO(Character-GRPO)を含む2段階のトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-01T03:22:04Z)
• What-Meets-Where: Unified Learning of Action and Contact Localization in a New Dataset [6.6946566008924036]
  本稿では,高レベルのアクションセマンティクスと微粒な身体部分接触領域を同時に予測する新しい視覚タスクを提案する。 本稿では,654のアクション,80のオブジェクトカテゴリ,17の身体部分を含む13,979のイメージを含む包括的データセットであるPaIR(Part-Aware Interaction Representation)を紹介する。
  論文  参考訳（メタデータ） (2025-08-13T02:06:33Z)
• CARMA: Context-Aware Situational Grounding of Human-Robot Group Interactions by Combining Vision-Language Models with Object and Action Recognition [13.900094752791027]
  CARMAは人間とロボットの相互作用における状況的接地システムである。 実験により,本システムは正確なアクター・アクション・オブジェクト三重項を確実に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-25T12:36:49Z)
• Disentangling Interactions and Dependencies in Feature Attribution [9.442326245744916]
  機械学習において、グローバルな特徴重要度法は、対象変数の予測に個々の特徴がどの程度貢献するかを判断しようとする。 一般的に用いられる特徴重要度スコアでは、これらの協調効果は特徴の個々の貢献と混同される。 DIPは、3つの成分をアンタングルする個々の特徴重要度スコアを数学的に分解する。
  論文  参考訳（メタデータ） (2024-10-31T09:41:10Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• Home Action Genome: Cooperative Compositional Action Understanding [33.69990813932372]
  アクション認識に関する既存の研究は、アクティビティをビデオで発生したモノリシックなイベントとして扱う。 協調構成行動理解(CCAU)は階層的行動認識のための協調学習フレームワークである。 単サンプルで28.6%のmAPを達成し, 複数ショット動作認識におけるコラーニング合成の有用性を実証した。
  論文  参考訳（メタデータ） (2021-05-11T17:42:47Z)
• DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification [77.59549450705384]
  ダイアログシステムでは、ダイアログアクト認識と感情分類は2つの相関タスクである。 既存のシステムのほとんどは、それらを別々のタスクとして扱うか、単に2つのタスクを一緒にモデル化するだけです。 本稿では,2つのタスク間の相互作用をモデル化するディープ・コ・インタラクティブ・リレーショナル・ネットワーク(DCR-Net)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T14:13:32Z)
• Classifying All Interacting Pairs in a Single Shot [29.0200561485714]
  我々は,人間と物体の相互作用を分類するCALIPSOに基づく,新しいヒューマンインタラクション検出手法を提案する。 それは、その数とクラスに関係なく、すべての人間とオブジェクトのペアの相互作用を同時に推定する。 これは、画像内の被写体、オブジェクト、相互作用の数によらず、一定の複雑さと計算時間をもたらす。
  論文  参考訳（メタデータ） (2020-01-13T15:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。