論文の概要: BCTR: Bidirectional Conditioning Transformer for Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2407.18715v1
• Date: Fri, 26 Jul 2024 13:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:30:50.912310
• Title: BCTR: Bidirectional Conditioning Transformer for Scene Graph Generation
• Title（参考訳）: BCTR: シーングラフ生成のための双方向コンディショニングトランス
• Authors: Peng Hao, Xiaobing Wang, Yingying Jiang, Hanchao Jia, Xiaoshuai Hao,
• Abstract要約: シーングラフ生成(SGG)は、その構成特性のため、依然として困難な課題である。 従来のアプローチでは、エンドツーエンドで学習することで予測効率が向上する。 本稿では,SGGのための新しい双方向条件付け分解法を提案し,実体と述語との効率的な相互作用を導入する。
• 参考スコア（独自算出の注目度）: 4.977568882858193
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scene Graph Generation (SGG) remains a challenging task due to its compositional property. Previous approaches improve prediction efficiency by learning in an end-to-end manner. However, these methods exhibit limited performance as they assume unidirectional conditioning between entities and predicates, leading to insufficient information interaction. To address this limitation, we propose a novel bidirectional conditioning factorization for SGG, introducing efficient interaction between entities and predicates. Specifically, we develop an end-to-end scene graph generation model, Bidirectional Conditioning Transformer (BCTR), to implement our factorization. BCTR consists of two key modules. First, the Bidirectional Conditioning Generator (BCG) facilitates multi-stage interactive feature augmentation between entities and predicates, enabling mutual benefits between the two predictions. Second, Random Feature Alignment (RFA) regularizes the feature space by distilling multi-modal knowledge from pre-trained models, enhancing BCTR's ability on tailed categories without relying on statistical priors. We conduct a series of experiments on Visual Genome and Open Image V6, demonstrating that BCTR achieves state-of-the-art performance on both benchmarks. The code will be available upon acceptance of the paper.
• Abstract（参考訳）: シーングラフ生成(SGG)は、その構成特性のため、依然として困難な課題である。 従来のアプローチでは、エンドツーエンドで学習することで予測効率が向上する。 しかし、これらの手法は、エンティティと述語間の一方向条件付けを前提として、限られた性能を示し、情報相互作用が不十分になる。 この制限に対処するため、我々はSGGのための新しい双方向条件因子化を提案し、実体と述語の間の効率的な相互作用を導入した。 具体的には,BCTR (Bidirectional Conditioning Transformer) をエンド・ツー・エンドのシーングラフ生成モデルとして開発した。 BCTRは2つの重要なモジュールから構成される。 まず、双方向コンディショニングジェネレータ(BCG)は、エンティティと述語の間の多段階的な対話的特徴拡張を促進し、2つの予測間の相互利益を可能にする。 第二に、Random Feature Alignment (RFA) は、事前訓練されたモデルからマルチモーダルな知識を蒸留することで特徴空間を正規化し、統計的事前に頼らずに尾行されたカテゴリにおけるBCTRの能力を高める。 我々は、Visual GenomeとOpen Image V6で一連の実験を行い、BCTRが両方のベンチマークで最先端のパフォーマンスを達成することを実証した。 コードは、論文の受理時に入手できます。

関連論文リスト

• Multitask Fine-Tuning and Generative Adversarial Learning for Improved Auxiliary Classification [0.0]
  3つの下流タスクをマルチタスクで微調整するための新しいBERTアーキテクチャを実装した。 我々のモデルであるMultitask BERTは、レイヤ共有とトリプルトアーキテクチャ、カスタム文ペアトークン化、損失ペアリング、勾配手術を取り入れています。 また、BERTに生成逆学習を適用し、潜在空間から写像して偽の埋め込みを生成する条件付きジェネレータモデルを構築した。
  論文  参考訳（メタデータ） (2024-08-11T20:05:54Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• ALF: Adaptive Label Finetuning for Scene Graph Generation [116.59868289196157]
  画像中の被写体と物体の関係を予測するためのシーングラフ生成の試み 関係の長期分布は、しばしば粗いラベルの偏りの予測につながり、SGGにおいて大きなハードルとなる。 我々はSGGに1段階のデータ転送パイプラインを導入し、ALF(Adaptive Label Finetuning)と呼ばれ、追加のトレーニングセッションを不要にする。 ALFは一般的なSGG法であるMotifに比べてmR@100が16%改善され、最先端のIETransに比べて計算コストは6%増加した。
  論文  参考訳（メタデータ） (2023-12-29T01:37:27Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
  本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。 最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
  論文  参考訳（メタデータ） (2022-05-24T02:25:05Z)
• Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation [62.96628432641806]
  Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。 まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。 次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
  論文  参考訳（メタデータ） (2022-03-18T09:14:13Z)
• Temporal Action Proposal Generation with Transformers [25.66256889923748]
  本稿では,オリジナルトランスフォーマーを用いた時間的アクション提案生成フレームワークを直感的に提案する。 境界変換器は、長期の時間的依存関係をキャプチャして正確な境界情報を予測する。 The Proposal Transformer learns the rich-proposal relationship for reliable confidence evaluation。
  論文  参考訳（メタデータ） (2021-05-25T16:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。