論文の概要: Dynamic Language Binding in Relational Visual Reasoning

• arxiv url: http://arxiv.org/abs/2004.14603v3
• Date: Thu, 18 Feb 2021 03:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:30:29.990492
• Title: Dynamic Language Binding in Relational Visual Reasoning
• Title（参考訳）: リレーショナルビジュアル推論における動的言語結合
• Authors: Thao Minh Le, Vuong Le, Svetha Venkatesh, Truyen Tran
• Abstract要約: 言語結合型オブジェクトグラフネットワークは,視覚領域とテキスト領域の両方にわたる動的関係構造を持つ最初のニューラル推論手法である。 本手法は,複数の対象関係が関係する高度な質問応答タスクにおいて,他の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 67.85579756590478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Language-binding Object Graph Network, the first neural reasoning method with dynamic relational structures across both visual and textual domains with applications in visual question answering. Relaxing the common assumption made by current models that the object predicates pre-exist and stay static, passive to the reasoning process, we propose that these dynamic predicates expand across the domain borders to include pair-wise visual-linguistic object binding. In our method, these contextualized object links are actively found within each recurrent reasoning step without relying on external predicative priors. These dynamic structures reflect the conditional dual-domain object dependency given the evolving context of the reasoning through co-attention. Such discovered dynamic graphs facilitate multi-step knowledge combination and refinements that iteratively deduce the compact representation of the final answer. The effectiveness of this model is demonstrated on image question answering demonstrating favorable performance on major VQA datasets. Our method outperforms other methods in sophisticated question-answering tasks wherein multiple object relations are involved. The graph structure effectively assists the progress of training, and therefore the network learns efficiently compared to other reasoning models.
• Abstract（参考訳）: 本稿では,視覚領域とテキスト領域にまたがる動的関係構造を持つ最初のニューラル推論手法であるlanguage-binding object graph networkを提案する。 従来のモデルでは、オブジェクトが存在を予測し、静的で、推論プロセスに受動的であるという仮定を緩和し、これらの動的述語がドメイン境界を越えて拡張され、ペアワイズな視覚言語的オブジェクトバインディングを含むことを提案する。 提案手法では,これらの文脈化オブジェクトリンクは,外部述語前処理に頼らずに,各再帰的推論ステップ内で積極的に検出される。 これらの動的構造は、コアテンションを通して推論の進化コンテキストを考慮し、条件付き二重ドメインオブジェクト依存性を反映する。 このような検出された動的グラフは、多段階の知識の組み合わせと、最終回答のコンパクト表現を反復的に推測する改良を促進する。 このモデルの有効性は、主要なVQAデータセット上での良好な性能を示す画像質問応答で示される。 本手法は,複数の対象関係が関係する高度な質問応答タスクにおいて,他の手法よりも優れる。 グラフ構造はトレーニングの進行を効果的に支援するため、ネットワークは他の推論モデルと比較して効率的に学習する。

関連論文リスト

• Learning Hierarchical Relational Representations through Relational Convolutions [2.99146123420045]
  我々は「関係畳み込みネットワーク」と呼ぶアーキテクチャフレームワークを提案する。 グラフレットフィルタが入力のパッチにマッチする関係畳み込み演算を形式化する。 また、下流タスクに関連するオブジェクトのグルーピングを明示的に学習するためのメカニズムも提案する。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering [29.96818189046649]
  本稿では,視覚とテキストのグラフ表現を扱う構造化アライメントを提案する。 実験結果に示すように,このような構造的アライメントは推論性能を向上させる。 提案したモデルは、事前トレーニングなしで、GQAデータセット上で最先端の手法を上回り、VQA-v2データセット上で非事前トレーニングされた最先端の手法を上回ります。
  論文  参考訳（メタデータ） (2022-01-25T22:26:09Z)
• Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering [27.979053252431306]
  Video Question Answering (ビデオQA)は、新しいAI機能を開発するための強力なテストベッドである。 本稿では,対話するオブジェクトの動的ストリームとして動画を抽象化するオブジェクト指向推論手法を提案する。 このメカニズムは汎用神経ユニットのファミリーと多層アーキテクチャに実体化されている。
  論文  参考訳（メタデータ） (2021-06-25T05:12:42Z)
• Object-Centric Representation Learning for Video Question Answering [27.979053252431306]
  ビデオ回答(Video QA)は、人間のようなインテリジェントな行動のための強力なテストベッドを提供します。 このタスクは、処理、言語理解、抽象概念を具体的なビジュアルアーティファクトに結合する新しい機能を必要とする。 本稿では,映像をオブジェクトのリレーショナルグラフに変換するための新しいクエリ誘導表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T02:37:20Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。