論文の概要: Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge Integration

• arxiv url: http://arxiv.org/abs/2107.05080v1
• Date: Sun, 11 Jul 2021 16:22:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:10:50.231308
• Title: Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge Integration
• Title（参考訳）: コモンセンス知識統合によるゼロショットシーングラフ関係予測
• Authors: Xuan Kan, Hejie Cui, Carl Yang
• Abstract要約: 我々は,シーングラフ生成のためのコモンセンス知識を統合するフレームワークであるCommOnsense-integrAted sCenegrapHrElation pRediction (COACHER)を提案する。 具体的には、外部コモンセンス知識グラフにおいて、エンティティ周辺の近傍と経路をモデル化する新しいグラフマイニングパイプラインを開発する。
• 参考スコア（独自算出の注目度）: 9.203403318435486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relation prediction among entities in images is an important step in scene graph generation (SGG), which further impacts various visual understanding and reasoning tasks. Existing SGG frameworks, however, require heavy training yet are incapable of modeling unseen (i.e.,zero-shot) triplets. In this work, we stress that such incapability is due to the lack of commonsense reasoning,i.e., the ability to associate similar entities and infer similar relations based on general understanding of the world. To fill this gap, we propose CommOnsense-integrAted sCenegrapHrElation pRediction (COACHER), a framework to integrate commonsense knowledge for SGG, especially for zero-shot relation prediction. Specifically, we develop novel graph mining pipelines to model the neighborhoods and paths around entities in an external commonsense knowledge graph, and integrate them on top of state-of-the-art SGG frameworks. Extensive quantitative evaluations and qualitative case studies on both original and manipulated datasets from Visual Genome demonstrate the effectiveness of our proposed approach.
• Abstract（参考訳）: 画像内の実体間の関係予測はシーングラフ生成(SGG)の重要なステップであり、様々な視覚的理解や推論タスクにさらに影響を及ぼす。 しかし、既存のSGGフレームワークは重い訓練を必要とするが、目に見えない(ゼロショット)トリプルをモデル化することができない。 本研究は, 共通理解の欠如, すなわち, 類似する実体を関連付け, 世界の一般的な理解に基づく類似関係を推測する能力に起因していることを強調する。 このギャップを埋めるために、特にゼロショット関係予測において、SGGのコモンセンス知識を統合するフレームワークであるCommOnsense-integrAted sCenegrapHrElation pRediction (COACHER)を提案する。 具体的には、外部コモンセンス知識グラフ内のエンティティの周辺と経路をモデル化し、最先端のSGGフレームワーク上でそれらを統合するための新しいグラフマイニングパイプラインを開発する。 提案手法の有効性を実証するために,Visual Genome のオリジナルデータセットとオペレーテッドデータセットの総合的定量的評価と定性ケーススタディを行った。

関連論文リスト

• Towards Lifelong Scene Graph Generation with Knowledge-ware In-context Prompt Learning [24.98058940030532]
  画像内のオブジェクトのペア間の視覚的関係を予測するためのシーングラフ生成(SGG)。 この研究は、先行関係予測のスイートに固有の落とし穴に対処しようと試みている。 事前訓練された言語モデルにおける文脈内学習の成果に触発されて、我々のアプローチは関係を予測できる能力をモデルに付与する。
  論文  参考訳（メタデータ） (2024-01-26T03:43:22Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Adaptive Visual Scene Understanding: Incremental Scene Graph Generation [18.541428517746034]
  シーングラフ生成(SGG)は、画像を分析し、オブジェクトとその関係に関する意味のある情報を抽出する。 本稿では,関係の漸進性,シーンの漸進性,関係の一般化性という3つの学習体制からなるベンチマークを提案する。 また、RASと呼ばれる「分析によるリプレイ」手法についても紹介する。
  論文  参考訳（メタデータ） (2023-10-02T21:02:23Z)
• CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
  コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。 これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。 実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-10T16:31:35Z)
• Hyper-relationship Learning Network for Scene Graph Generation [95.6796681398668]
  本稿では,シーングラフ生成のためのハイパーリレーショナル学習ネットワークHLNを提案する。 我々は最も人気のあるSGGデータセット、すなわちVisual Genomeデータセット上でHLNを評価する。 例えば、提案されたHLNは、関係ごとのリコールを11.3%から13.1%に改善し、画像毎のリコールを19.8%から34.9%に維持する。
  論文  参考訳（メタデータ） (2022-02-15T09:26:16Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• Not All Relations are Equal: Mining Informative Labels for Scene Graph Generation [48.21846438269506]
  シーングラフ生成(SGG)は、オブジェクトのペア間の多様な相互作用をキャプチャすることを目的としている。 既存のSGG法では、トレーニングデータに様々なバイアスがあるため、視覚的およびテキスト的相関に関する複雑な推論が得られない。 本稿では,その情報性に基づいて関係ラベルを利用するSGGトレーニングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:34:12Z)
• Tackling the Challenges in Scene Graph Generation with Local-to-Global Interactions [4.726777092009554]
  SGG(Scene Graph Generation)タスクの根底にある課題に対する新たな洞察を求めている。 この分析に触発され、我々は新しいSGGフレームワークLOGIN(LoGIN)を設計した。 本フレームワークは,シーングラフを設計により局所的・言語的に予測し,相補性を生かした。
  論文  参考訳（メタデータ） (2021-06-16T03:58:21Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。