論文の概要: A Universal Model for Cross Modality Mapping by Relational Reasoning

• arxiv url: http://arxiv.org/abs/2102.13360v1
• Date: Fri, 26 Feb 2021 08:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 13:52:22.952711
• Title: A Universal Model for Cross Modality Mapping by Relational Reasoning
• Title（参考訳）: リレーショナル推論によるクロスモダリティマッピングのユニバーサルモデル
• Authors: Zun Li, Congyan Lang, Liqian Liang, Tao Wang, Songhe Feng, Jun Wu, and Yidong Li
• Abstract要約: クロスモダリティマッピングは、コンピュータビジョンコミュニティで注目を集めています。 本稿では,相互関係を効率的に計算するGCNベースのReasoning Network(RR-Net)を提案する。 画像分類,ソーシャルレコメンデーション,および音声認識の3つの例による実験により,提案モデルの優越性と普遍性を明らかにした。
• 参考スコア（独自算出の注目度）: 29.081989993636338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the aim of matching a pair of instances from two different modalities, cross modality mapping has attracted growing attention in the computer vision community. Existing methods usually formulate the mapping function as the similarity measure between the pair of instance features, which are embedded to a common space. However, we observe that the relationships among the instances within a single modality (intra relations) and those between the pair of heterogeneous instances (inter relations) are insufficiently explored in previous approaches. Motivated by this, we redefine the mapping function with relational reasoning via graph modeling, and further propose a GCN-based Relational Reasoning Network (RR-Net) in which inter and intra relations are efficiently computed to universally resolve the cross modality mapping problem. Concretely, we first construct two kinds of graph, i.e., Intra Graph and Inter Graph, to respectively model intra relations and inter relations. Then RR-Net updates all the node features and edge features in an iterative manner for learning intra and inter relations simultaneously. Last, RR-Net outputs the probabilities over the edges which link a pair of heterogeneous instances to estimate the mapping results. Extensive experiments on three example tasks, i.e., image classification, social recommendation and sound recognition, clearly demonstrate the superiority and universality of our proposed model.
• Abstract（参考訳）: 2つの異なるモダリティから2つのインスタンスをマッチングすることを目的に、クロスモダリティマッピングはコンピュータビジョンコミュニティで注目を集めています。 既存のメソッドは通常、共通空間に埋め込まれたインスタンス機能のペア間の類似度尺度としてマッピング関数を定式化する。 しかし、我々は、単一のモダリティ(イントラリレーション)内のインスタンスと2つの異種インスタンス(インターリレーション)の間のインスタンス間の関係は、以前のアプローチでは不十分に検討されていることを観察する。 そこで我々は,グラフモデリングによる関係推論でマッピング関数を再定義し,また,相互関係を効率的に計算し,相互関係を普遍的に解決するGCNベースの関係推論ネットワーク(RR-Net)を提案する。 具体的には、まずイントラグラフとインターグラフという2種類のグラフを構築し、それぞれにイントラリレーションと相互関係をモデル化する。 その後、RR-Netはすべてのノード機能とエッジ機能を反復的に更新し、イントラリレーションとインターリレーションを同時に学習します。 最後にrr-netは、複数の異種インスタンスをリンクしてマッピング結果を推定するエッジ上の確率を出力する。 画像分類,ソーシャルレコメンデーション,および音声認識の3つの課題に対する広範囲な実験により,提案モデルの優越性と普遍性を明らかにした。

関連論文リスト

• Multi-Relational Graph Neural Network for Out-of-Domain Link Prediction [12.475382123139024]
  本稿では,領域外一般化問題に対処するため,GOODと呼ばれる新しいグラフニューラルネットワークモデルを提案する。 GOODは、既知の関係タイプから予測を効果的に一般化し、最先端の結果を得ることができる。
  論文  参考訳（メタデータ） (2024-03-17T18:08:22Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Modeling Instance Interactions for Joint Information Extraction with Neural High-Order Conditional Random Field [39.055053720433435]
  我々は、高次条件ランダムフィールドとして、共同IEを定式化する共同IEフレームワーク(CRFIE)を導入する。 具体的には,2つの要素と3つの要素を設計し,一対のインスタンスだけでなく三重項間の相互作用を直接モデル化する。 平均場変動推定法から展開した高次ニューラルデコーダを組み込んだ。
  論文  参考訳（メタデータ） (2022-12-17T18:45:23Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)
• Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification [20.30508026932434]
  Visible-infrared person re-identification (VI Re-ID) は、可視光と赤外線のモダリティ間の人物像のマッチングを目的としている。 既存のVI Re-ID法は主に1つの画像から均一な構造関係を抽出することに焦点を当てている。 本稿では,モーダリティ固有のグラフを用いて,各モーダリティ内の同種構造関係をモデル化する。 次に、これらの2つのモジュラリティ固有グラフにおける不均一構造相関について検討する。
  論文  参考訳（メタデータ） (2021-09-18T02:51:16Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
  本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。 BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
  論文  参考訳（メタデータ） (2020-04-14T02:32:10Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。