論文の概要: Identity-Aware Human-Object Interaction Motion Captioning
- arxiv url: http://arxiv.org/abs/2608.20690v1
- Date: Fri, 21 Aug 2026 02:53:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.354864
- Title: Identity-Aware Human-Object Interaction Motion Captioning
- Title（参考訳）: アイデンティティを意識した人間と物体のインタラクション動作のキャプション
- Abstract要約: 本稿では,アイデンティティを意識したヒューマン・オブジェクト・インタラクション・モーション・キャプタリング・タスクを紹介する。
このタスクは、各生成されたキャプションに、主題のアイデンティティと対応するHOI動作の両方を指定する必要がある。
本稿では,多視点ビデオから学習するID-HOINetを提案する。
- 参考スコア（独自算出の注目度）: 14.724174102790839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing human-object interaction (HOI) motion captioning methods typically describe what happens while referring to the subject using generic terms such as "a person" or "someone", without grounding the caption in subject identity. To address this limitation, we introduce Identity-Aware Human-Object Interaction Motion Captioning task. This task requires each generated caption to specify both the subject identity and the corresponding HOI motion. For example, the model generates "Sub_ID lifts the chair" rather than "A person lifts the chair". For this task, we design identity-aware HOI motion captions based on the BEHAVE and InterCap datasets. We further propose ID-HOINet, which learns from multi-view videos while supporting single-view identity-aware HOI motion caption generation. ID-HOINet contains two core components: Multi-View Identity-Motion Learning Module (MVIML) and Two-Stage Caption Rewriting Strategy (TSCR). MVIML learns from multi-view videos by modeling dependencies across temporal stages and camera viewpoints, capturing identity and interaction motion features. At inference, the TSCR first retrieves the subject identity and generates identity-agnostic HOI motion captions. TSCR then rewrites these captions with the predicted identity to produce the final identity-aware HOI motion captions. Experiments demonstrate that ID-HOINet achieves state-of-the-art performance. Code will be released upon acceptance.
- Abstract（参考訳）: 既存のHuman-object Interaction (HOI) 動作キャプション法は、典型的には、被写体アイデンティティにおいてキャプションを根拠にすることなく、「人」や「人」といった一般的な用語を使用して被写体に何が起こるかを記述する。
この制限に対処するために、アイデンティティ対応のヒューマン・オブジェクト・インタラクション・モーション・キャプション・タスクを導入する。
このタスクは、各生成されたキャプションに、主題のアイデンティティと対応するHOI動作の両方を指定する必要がある。
例えば、モデルは「人が椅子を持ち上げる」のではなく、"Sub_ID lifts the chair"を生成する。
そこで本研究では,BEHAVEとInterCapのデータセットに基づいて,同一性を考慮したHOI動作キャプションを設計する。
さらに,多視点ビデオから学習するID-HOINetを提案する。
ID-HOINetにはMVIML(Multi-View Identity-Motion Learning Module)とTSCR(Two-Stage Caption Rewriting Strategy)という2つのコアコンポーネントが含まれている。
MVIMLは、時間的ステージとカメラ視点の依存関係をモデル化し、アイデンティティとインタラクションの動作の特徴をキャプチャすることによって、マルチビュービデオから学習する。
TSCRは、まず被写体識別を検索し、同一性に依存しないHOIモーションキャプションを生成する。
TSCRはこれらのキャプションを予測されたIDで書き直し、最終的なアイデンティティを意識したHOIモーションキャプションを生成する。
実験では、ID-HOINetが最先端のパフォーマンスを達成することを示した。
コードは受理時にリリースされる。
関連論文リスト
- GroupVideo: Multi-Identity Customized Text-to-Video Generation [53.89036635198158]
GroupVideoは、複数の個人写真を利用して、アイデンティティをカスタマイズしたビデオを生成する新しいフレームワークである。
GroupVideoにはマルチモーダルなアイデンティティアライメントが組み込まれており、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入している。
マルチIDビデオデータセットが不足しているため、我々は20,000のビデオの包括的な高品質なデータセットをキュレートした。
論文 参考訳（メタデータ） (2026-07-23T08:09:04Z) - Vera: Identity-Faithful Human Subject-to-Video Generation [66.45205582225942]
単対複数対人生成のための統合人間中心型S2VフレームワークであるVeraを提案する。
まず、人物レベルのクロスクリップ検索により、100万対のアイデンティティに整合した人間の画像画像データセットを構築した。
We show that Vera improves human identity consistency, multi-person subject binding, and motion naturalness, while reduce identity confusion and excess reference-image copying。
論文 参考訳（メタデータ） (2026-07-22T15:08:30Z) - Customizing Video Portraits via Identity-ActionDecoupling [32.57069491938664]
IPT2V(Identity-Preserving Text-to-Video Generation)は、参照画像とテキスト記述から時間的コヒーレントな映像を合成する。
この問題を解決するために、ID-Action Decouplingフレームワークと2つの損失関数Identity Decoupling LossとText Alignment Lossを導入します。
論文 参考訳（メタデータ） (2026-06-21T05:56:28Z) - Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketball Video Captioning [66.61493163603339]
既存のスポーツビデオキャプション手法は、プレイヤーのアイデンティティを見落としているアクションに焦点を合わせ、適用性を制限していることが多い。
本稿では,個人対応スポーツビデオキャプション(LLM-IAVC)のためのプレイヤー中心型マルチモーダルプロンプト生成ネットワークを提案する。
NBA-Identityという,9つの主要なイベントを対象とする9,726本のビデオを備えた,大きなアイデンティティを意識したバスケットボールビデオキャプションデータセットを構築した。
論文 参考訳（メタデータ） (2025-07-27T07:30:56Z) - ID-EA: Identity-driven Text Enhancement and Adaptation with Textual Inversion for Personalized Text-to-Image Generation [33.84646269805187]
ID-EAは、テキストの埋め込みを視覚的アイデンティティの埋め込みに合わせてガイドする新しいフレームワークである。
ID-EAはアイデンティティ保存の指標において最先端の手法を大幅に上回っている。
パーソナライズされた肖像画は、既存のアプローチの15倍の速さで生成される。
論文 参考訳（メタデータ） (2025-07-16T07:42:02Z) - Proteus-ID: ID-Consistent and Motion-Coherent Video Customization [17.792780924370103]
ビデオアイデンティティのカスタマイズは、単一の参照画像とテキストプロンプトを与えられた特定の主題の現実的で時間的に整合したビデオを合成しようとする。
この課題は、説明された外観や動作と整合しながらアイデンティティの整合性を維持すること、非現実的な剛性のない自然な流体運動を生成することである。
Proteus-IDは、アイデンティティ一貫性とモーションコヒーレントなビデオカスタマイズのための、新しい拡散ベースのフレームワークである。
論文 参考訳（メタデータ） (2025-06-30T11:05:32Z) - MICap: A Unified Model for Identity-aware Movie Descriptions [16.287294191608893]
空白字幕を付与した場合に,ID認識キャプション生成やFITBをシームレスに切り替えることのできる,新しい単一ステージアプローチを提案する。
私たちのモデルであるMICap(Movie-Identity Captioner)は、FITBとフルキャプション生成のトレーニングの恩恵を受ける、共有自動回帰デコーダを使用します。
論文 参考訳（メタデータ） (2024-05-19T08:54:12Z) - Magic-Me: Identity-Specific Video Customized Diffusion [72.05925155000165]
本稿では、VCD(Video Custom Diffusion)と呼ばれる、制御可能な被写体識別制御可能なビデオ生成フレームワークを提案する。
いくつかの画像によって定義された特定IDにより、VCDはアイデンティティ特性を強化し、安定したビデオ出力のためにフレームワイズ相関を注入する。
我々は、VCDがベースラインよりも優れたIDで安定した動画を生成可能であることを検証するために、広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-02-14T18:13:51Z) - SOVC: Subject-Oriented Video Captioning [59.04029220586337]
本稿では,ビデオキャプションタスクであるSOVC(Subject-Oriented Video Captioning)を提案する。
この課題を支援するために、広く使われている2つのビデオキャプションデータセットに基づいて、2つの主観的ビデオキャプションデータセットを構築した。
論文 参考訳（メタデータ） (2023-12-20T17:44:32Z) - Identity-Aware Multi-Sentence Video Description [105.13845996039277]
本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。
鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。
実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-08-22T09:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。