論文の概要: Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.20155v1
• Date: Sat, 26 Oct 2024 12:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:45.930734
• Title: Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models
• Title（参考訳）: 大規模関係駆動拡散モデルと協調した人間と物体の相互作用検出
• Authors: Liulei Li, Wenguan Wang, Yi Yang,
• Abstract要約: テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
• 参考スコア（独自算出の注目度）: 65.82564074712836
• License:
• Abstract: Prevalent human-object interaction (HOI) detection approaches typically leverage large-scale visual-linguistic models to help recognize events involving humans and objects. Though promising, models trained via contrastive learning on text-image pairs often neglect mid/low-level visual cues and struggle at compositional reasoning. In response, we introduce DIFFUSIONHOI, a new HOI detector shedding light on text-to-image diffusion models. Unlike the aforementioned models, diffusion models excel in discerning mid/low-level visual concepts as generative models, and possess strong compositionality to handle novel concepts expressed in text inputs. Considering diffusion models usually emphasize instance objects, we first devise an inversion-based strategy to learn the expression of relation patterns between humans and objects in embedding space. These learned relation embeddings then serve as textual prompts, to steer diffusion models generate images that depict specific interactions, and extract HOI-relevant cues from images without heavy fine-tuning. Benefited from above, DIFFUSIONHOI achieves SOTA performance on three datasets under both regular and zero-shot setups.
• Abstract（参考訳）: 一般的な人間と物体の相互作用(HOI)検出アプローチは、人間や物体を含む事象を認識するために大規模な視覚言語モデルを利用するのが一般的である。 有望ではあるが、テキストイメージペアの対照的な学習を通じて訓練されたモデルは、中低レベルの視覚的手がかりを無視し、構成的推論に苦慮することが多い。 そこで本研究では,テキスト・画像拡散モデル上に光を遮蔽する新しいHOI検出器であるDIFFUSIONHOIを紹介する。 上記のモデルとは異なり、拡散モデルは、中間/下層の視覚概念を生成モデルとして認識し、テキスト入力で表現された新しい概念を扱うための強い構成性を持っている。 拡散モデルは、通常、インスタンスオブジェクトを強調するので、まず、埋め込み空間における人間とオブジェクトの関係パターンの表現を学習するための反転ベースの戦略を考案する。 これらの学習された関係埋め込みは、テキストのプロンプトとして機能し、特定の相互作用を記述する画像を生成するスタイア拡散モデルを作成し、大量の微調整をせずに画像からHOI関連キューを抽出する。 上記に適合したDIFFUSIONHOIは、通常の設定とゼロショット設定の両方で、3つのデータセット上でSOTAパフォーマンスを達成する。

関連論文リスト

• DiffusionPID: Interpreting Diffusion via Partial Information Decomposition [24.83767778658948]
  入力テキストプロンプトを基本成分に分解するために,情報理論の原理を適用した。 個々のトークンとその相互作用が生成した画像をどのように形成するかを分析する。 PIDはテキスト・画像拡散モデルの評価と診断のための強力なツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-07T18:17:17Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• Semantic Guidance Tuning for Text-To-Image Diffusion Models [3.3881449308956726]
  本研究では,推論中の拡散モデルの誘導方向を変調する学習自由アプローチを提案する。 まず,素早い意味論を概念の集合に分解し,各概念に関するガイダンスの軌跡をモニタリングする。 そこで本研究では,モデルが発散する概念に対して,誘導方向を制御するための手法を考案した。
  論文  参考訳（メタデータ） (2023-12-26T09:02:17Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
  本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。 本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
  論文  参考訳（メタデータ） (2023-05-18T05:41:36Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。