Fugu-MT 論文翻訳(概要): MIME: Multimodal Interactive Motion Encoder

論文の概要: MIME: Multimodal Interactive Motion Encoder

arxiv url: http://arxiv.org/abs/2607.22702v1
Date: Sat, 18 Jul 2026 20:08:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:14.83067
Title: MIME: Multimodal Interactive Motion Encoder
Title（参考訳）: MIME:マルチモーダルインタラクティブモーションエンコーダ
Abstract要約: マルチモーダルインタラクティブモーションは、ストリームベースのコアテンションを使用して、個別構造と共有構造をキャプチャする。 Inter-Xテキストモーション検索では、MIMEは早期と後期の融合ベースラインより一貫して優れている。その結果, 対話型マルチモーダル符号化は, 下流動作生成を支援するために, データセット間での多人数動作の検索と転送を改善することがわかった。
参考スコア（独自算出の注目度）: 10.679116500422902
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text-motion representation learning has advanced rapidly, with growing interest in multi person interactions for animation, AR/VR, and embodied AI. These settings require representations that align language with both individual actor dynamics and the relationships between actors. We introduce the Multimodal Interactive Motion Encoder (MIME), which, to our knowledge, represents the first dedicated multimodal encoder designed specifically for two person interactive motion. MIME captures individual and shared structure using stream based co-attention with explicit interaction features and curriculum based contrastive training. On Inter-X text-motion retrieval, MIME consistently outperforms early and late fusion baselines across gallery sizes, achieving a 12.8% relative improvement in text-to-motion R@1 at a 2,000-sample gallery. We further evaluate MIME as a frozen auxiliary prior within TIMotion and InterMask on the unseen InterHuman dataset. MIME improves semantic alignment metrics while maintaining comparable FID in TIMotion. These results show that interaction aware multimodal encoding improves multi person motion retrieval and transfers across datasets to support downstream motion generation.
Abstract（参考訳）: テキストモーション表現学習は急速に進歩し、アニメーション、AR/VR、エンボディAIの多人数インタラクションへの関心が高まっている。これらの設定は、個々のアクターダイナミクスとアクター間の関係の両方に言語を整合させる表現を必要とする。我々は,MIME(Multimodal Interactive Motion Encoder)を紹介した。 MIMEは、明示的なインタラクション機能とカリキュラムベースのコントラストトレーニングを備えたストリームベースのコアテンションを使用して、個々の構造と共有構造をキャプチャする。インターXのテキストモーション検索では、MIMEはギャラリーサイズで早期と後期の融合ベースラインを一貫して上回り、2000サンプルのギャラリーでテキスト・トゥ・モーションのR@1を12.8%改善した。未確認のInterHumanデータセット上で、TIMotionとInterMask内でMIMEを凍結補助的に評価する。 MIMEはTIMotionで同等のFIDを維持しながらセマンティックアライメントのメトリクスを改善している。これらの結果から,対話型マルチモーダル符号化は,下流動作生成を支援するために,データセット間での多人数動作の検索と転送を改善することが示唆された。

関連論文リスト

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enhancement [49.760248537839715]
人間中心型ビデオパーソナライゼーション(HOCVP)は、主観駆動型ビデオ生成における中核的な課題である。我々は,オブジェクト間の入力設定とオブジェクト内入力設定の両方を統一的に扱うHOCVPフレームワークHOMIEを提案する。本稿では,MLLMに基づく意味的特徴とVAEトークンとの整合性を向上するために,自己注意の中でグローバルなマルチモーダルガイダンスを導入する。
論文参考訳（メタデータ） (2026-07-20T17:51:35Z)
Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文参考訳（メタデータ） (2025-10-11T06:36:59Z)
InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios [40.42003202491803]
2人の活動を同時にモデル化し、客観的、動的、意味論的に一貫した相互作用を目標にすることを提案する。我々は、241のモーションシーケンスからなるInterActと呼ばれる新しいマルチモーダルデータセットをキャプチャする。 InterActには、個人の多様で複雑な動きと、これまでほとんど見られなかった興味深い、比較的長期にわたる相互作用パターンが含まれている。
論文参考訳（メタデータ） (2025-09-06T15:36:47Z)
Co$^{3}$Gesture: Towards Coherent Concurrent Co-speech 3D Gesture Generation with Interactive Diffusion [42.421118899819106]
Co$3$Gestureは、コヒーレントな同時音声ジェスチャー合成を可能にする新しいフレームワークである。本稿では、2つの話者のジェスチャーシーケンス間の時間的関連表現をモデル化するための時間的相互作用モジュール(TIM)を提案する。本手法は,新たに収集したGES-Interデータセットの最先端モデルよりも優れている。
論文参考訳（メタデータ） (2025-05-03T08:51:19Z)
Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
マルチモーダル表現学習は人工知能領域において重要な役割を担っている。本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
論文参考訳（メタデータ） (2024-12-30T14:09:15Z)
Towards Expressive Video Dubbing with Multiscale Multimodal Context Interaction [8.259073811611788]
自動ビデオダビング(AVD)は、スクリプトから唇の動きや顔の感情に合わせた音声を生成する。最近の研究は、韻律表現性を高めるためのマルチモーダルコンテキストのモデリングに焦点を当てている。 AVDのためのマルチスケールマルチモーダルコンテキストインタラクションスキームであるM2CI-Dubberを提案する。
論文参考訳（メタデータ） (2024-12-25T02:41:13Z)
A Unified Framework for Motion Reasoning and Generation in Human Interaction [28.736843383405603]
本稿では,言語と運動の両モードを統合したVersatile Interactive Motion-Languageモデルを提案する。 VIMは、動きとテキストのモダリティの両方を同時に理解し、生成することができる。我々は,動画像のテキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト・テキスト)、反応生成,動作編集,および動作系列の推論を含む複数の対話的動作関連タスク
論文参考訳（メタデータ） (2024-10-08T02:23:53Z)
InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文参考訳（メタデータ） (2023-04-12T08:12:29Z)
Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
論文参考訳（メタデータ） (2022-04-06T02:42:33Z)
Deeply Interleaved Two-Stream Encoder for Referring Video Segmentation [87.49579477873196]
まず,CNNに基づく視覚特徴とトランスフォーマーに基づく言語特徴を階層的に抽出する2ストリームエンコーダを設計する。視覚言語相互誘導(VLMG)モジュールをエンコーダに複数回挿入し,多モード特徴の階層的および進行的融合を促進する。フレーム間の時間的アライメントを促進するために,言語誘導型マルチスケール動的フィルタリング(LMDF)モジュールを提案する。
論文参考訳（メタデータ） (2022-03-30T01:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。