論文の概要: MPIE-Bench: Benchmarking Anatomically Plausible Multi-Person Interaction Editing
- arxiv url: http://arxiv.org/abs/2607.27616v1
- Date: Thu, 30 Jul 2026 03:08:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.380252
- Title: MPIE-Bench: Benchmarking Anatomically Plausible Multi-Person Interaction Editing
- Title(参考訳): MPIE-Bench: 解剖学的にプラズブルなマルチパーソンインタラクション編集のベンチマーク
- Abstract要約: 我々は,405シーン,14のインタラクションカテゴリ,4つのコンタクト密度にまたがるビデオマイニング三部作のベンチマークMPIE-Benchを紹介する。
また,MPIE-Evalを提案する。この2つの新しい軸は,凍結したパブリックなマルチパーソンメッシュ再構成から接触時間幾何をスコアする。
- 参考スコア(独自算出の注目度): 39.69477871061676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image and personalized editing models now synthesize high-fidelity single-subject images with ease. Yet placing multiple named people into shared contact actions such as embrace, carry, or grapple still exposes major failures: fused limbs, invented extremities, and interpenetrating bodies. Existing evaluations largely overlook these anatomical and geometric issues, and VLM-as-a-judge checklists often saturate on Interaction while the errors remain obvious to humans. We introduce MPIE-Bench, a 2,500-sample benchmark of video-mined editing triplets spanning 405 scenes, 14 interaction categories, and four contact densities (C0-C3). We also propose MPIE-Eval, whose two new axes score contact-time geometry from a frozen public multi-person mesh reconstruction. Anatomy asks whether every human-like mass is explained by a complete set of reconstructed bodies, and Interaction asks whether the penetration and surface distance between those bodies match the contact the instruction asked for. Across ten editors, mesh Anatomy tops out at 0.65 and mesh Interaction at 0.72 on two different models, so no single editor is strong on both, while VLM checklists rate the same images above 0.95. A five-rater study confirms that both axes track human judgement more closely than a zero-shot VLM judge, and the rankings hold under ablation of every weight and threshold.
- Abstract(参考訳): テキスト・ツー・イメージとパーソナライズされた編集モデルは、高忠実な単一オブジェクト画像を簡単に合成できる。
しかし、複数の名前を冠した人物を抱きしめて抱きしめる、抱きしめる、または抱きしめるといった共通の接触行動に配置することは、依然として大きな失敗を露呈している。
既存の評価は、これらの解剖学的および幾何学的な問題を概ね見落としており、VLM-as-a-judgeチェックリストは、人間には明らかなエラーである一方で、相互作用によって飽和することが多い。
我々は,405シーン,14のインタラクションカテゴリ,4つのコンタクト密度(C0-C3)にまたがるビデオマイニング三脚の2500サンプルベンチマークであるMPIE-Benchを紹介する。
また,MPIE-Evalを提案する。この2つの新しい軸は,凍結したパブリックなマルチパーソンメッシュ再構成から接触時間幾何をスコアする。
解剖学は、すべての人間のような質量が再構築された体の完全な集合によって説明されるかどうかを問うとともに、相互作用は、これらの物体間の侵入と表面距離が、要求された指示の接触と一致するかどうかを問う。
10のエディタでメッシュAnatomyが0.65で、メッシュインタラクションが0.72で2つの異なるモデルでトップになるため、どちらも単一のエディタが強くないが、VLMチェックリストは同じイメージを0.95以上と評価している。
5レーターの研究では、どちらの軸もゼロショットのVLMジャッジよりも人間の判断を追跡しており、ランクはすべての重量と閾値のアブレーションの下で保持されていることが確認されている。
関連論文リスト
- Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。
インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。
インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
論文 参考訳(メタデータ) (2026-08-20T17:51:48Z) - RigidBench: Evaluating Rigid-Body Physics in Video Generation Models [16.53417077740312]
そこで本研究では,生成した継続と参照ロールアウトを同一の初期フレームと動作記述から比較したシミュレータグラウンドベンチマークを提案する。
同じ100の例で8つのモデルを評価し、これらの側面を分離する10の計測を行った。
完全な微調整により3次元軌道誤差は約20%減少し、SSIMはほとんど変化しない。
論文 参考訳(メタデータ) (2026-08-16T06:05:20Z) - CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation [19.10912769596512]
我々はCagCanvasを紹介した。これは100の有名人のアイデンティティ、115の独特なオブジェクトとファッションアイテム、29の現実世界の背景シーンにまたがる1,952のキュレートされた参照画像のベンチマークである。
このパイプラインは、DINOv2ベースの重複、二段階の美的フィルタリング、構造化相互作用と位置グラフの自動導出を組み合わせたものである。
5つのSOTA手法のベンチマークにより、全てのモデルがグループサイズが2から5に大きくなるにつれて大幅に劣化し、オブジェクト/ファッション結合が3つの主題を超えてほぼ完全に失敗することが明らかとなった。
論文 参考訳(メタデータ) (2026-06-14T15:38:24Z) - WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation [56.5415838759151]
WBenchはインタラクティブな世界モデルを評価するための総合的なベンチマークである。
ビデオの品質、セッティングアテンジェンス、インタラクションアテンデンス、一貫性、物理コンプライアンスをカバーしている。
289件のテストケースと1,058件のインタラクション・ターンが含まれており、多様なシーン、スタイル、主題、一対三の視点をカバーしている。
論文 参考訳(メタデータ) (2026-05-25T14:01:31Z) - MMHOI: Modeling Complex 3D Multi-Human Multi-Object Interactions [20.96140289964853]
本稿では,12の日常シナリオの画像からなる大規模多目的インタラクションデータセットMMHOIを提案する。
MMHOIは、すべての人やオブジェクトに対して完全な3D形状とアノテーションを提供し、78のアクションカテゴリと14のインタラクション固有のボディパーツのラベルを提供する。
MMHOI-Netは、人間と物体の3次元空間、それらの相互作用、および関連する動作を共同で推定するエンド・ツー・エンドのトランスフォーマーベースのニューラルネットワークである。
論文 参考訳(メタデータ) (2025-10-09T06:18:12Z) - Reconstructing People, Places, and Cameras [57.81696692335401]
Humans and Structure from Motion (HSfM) は、メカニカルワールド座標系において、複数の人メッシュ、シーンポイント雲、カメラパラメータを共同で再構築する手法である。
以上の結果から,SfMパイプラインに人体データを組み込むことで,カメラのポーズ推定が改善された。
論文 参考訳(メタデータ) (2024-12-23T18:58:34Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳(メタデータ) (2023-08-20T18:23:07Z) - Hi4D: 4D Instance Segmentation of Close Human Interaction [32.51930800738743]
Hi4Dは、20の被験者ペア、100のシーケンス、合計11Kフレームからなる4Dテクスチャスキャンのデータセットである。
このデータセットには、2Dと3Dのリッチなインタラクション中心アノテーションと、正確に登録されたパラメトリックボディモデルが含まれている。
論文 参考訳(メタデータ) (2023-03-27T16:53:09Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。