論文の概要: Visual Semantic Parsing: From Images to Abstract Meaning Representation

• arxiv url: http://arxiv.org/abs/2210.14862v2
• Date: Thu, 27 Oct 2022 15:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 12:25:54.763132
• Title: Visual Semantic Parsing: From Images to Abstract Meaning Representation
• Title（参考訳）: 視覚意味解析:画像から抽象的意味表現へ
• Authors: Mohamed Ashraf Abdelsalam, Zhan Shi, Federico Fancellu, Kalliopi Basioti, Dhaivat J. Bhatt, Vladimir Pavlovic and Afsaneh Fazly
• Abstract要約: 自然言語処理の分野で広く使われている意味表現である抽象的意味表現(AMR)を活用することを提案する。 我々の視覚的AMRグラフは、視覚入力から外挿された高レベルな意味概念に焦点をあてて、言語的により理解されている。 本研究は,シーン理解の改善に向けた今後の重要な研究方向を示唆するものである。
• 参考スコア（独自算出の注目度）: 20.60579156219413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of scene graphs for visual scene understanding has brought attention to the benefits of abstracting a visual input (e.g., image) into a structured representation, where entities (people and objects) are nodes connected by edges specifying their relations. Building these representations, however, requires expensive manual annotation in the form of images paired with their scene graphs or frames. These formalisms remain limited in the nature of entities and relations they can capture. In this paper, we propose to leverage a widely-used meaning representation in the field of natural language processing, the Abstract Meaning Representation (AMR), to address these shortcomings. Compared to scene graphs, which largely emphasize spatial relationships, our visual AMR graphs are more linguistically informed, with a focus on higher-level semantic concepts extrapolated from visual input. Moreover, they allow us to generate meta-AMR graphs to unify information contained in multiple image descriptions under one representation. Through extensive experimentation and analysis, we demonstrate that we can re-purpose an existing text-to-AMR parser to parse images into AMRs. Our findings point to important future research directions for improved scene understanding.
• Abstract（参考訳）: 視覚的なシーン理解のためのシーングラフの成功は、視覚的な入力(画像など)を構造化された表現に抽象化することで、エンティティ(人とオブジェクト)がエッジによって接続されたノードとなるというメリットに注目されている。 しかし、これらの表現を構築するには、シーングラフやフレームとペアリングした画像の形で、高価な手動アノテーションが必要である。 これらの形式主義は、彼らが捕らえることのできる実体や関係の性質に制限がある。 本稿では,自然言語処理の分野で広く使われている抽象的意味表現(abstract meaning representation, amr)を活用し,これらの欠点を解決することを提案する。 空間的関係を強調するシーングラフと比較すると、視覚的なamrグラフはより言語的にインフォームメントされ、視覚入力から高レベルな意味概念に焦点が当てられる。 さらに、メタAMRグラフを生成し、複数の画像記述に含まれる情報を1つの表現で統一する。 実験と分析により,既存のテキスト・トゥ・AMRパーサを再利用し,画像をAMRに解析できることが実証された。 本研究は,シーン理解の改善に向けた今後の重要な研究方向を示すものである。

関連論文リスト

• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• SGRAM: Improving Scene Graph Parsing via Abstract Meaning Representation [24.93559076181481]
  シーングラフ(Scene graph)は、画像やテキストからグラフの形式としてモデル化可能な、構造化されたセマンティック表現である。 本稿では,視覚シーンのテキスト記述からシーングラフを解析する問題に焦点をあてる。 抽象的意味表現を用いた簡易で効果的な2段階のシーングラフ解析フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-10-17T00:37:00Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• Learning to Represent Image and Text with Denotation Graph [32.417311523031195]
  本稿では,画像とテキスト間の暗黙的・視覚的接地表現の集合から学習表現を提案する。 得られた構造的関係を利用して,最先端のマルチモーダル学習モデルをさらに改良できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T18:00:58Z)
• GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
  画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。 提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-14T02:52:45Z)
• Consensus-Aware Visual-Semantic Embedding for Image-Text Matching [69.34076386926984]
  画像テキストマッチングは、視覚と言語をブリッジする上で中心的な役割を果たす。 既存のアプローチのほとんどは、表現を学ぶためにイメージテキストインスタンスペアのみに依存しています。 コンセンサスを意識したビジュアル・セマンティック・エンベディングモデルを提案し,コンセンサス情報を組み込む。
  論文  参考訳（メタデータ） (2020-07-17T10:22:57Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Graph-Structured Referring Expression Reasoning in The Wild [105.95488002374158]
  接地参照表現は、自然言語表現によって参照されるオブジェクトのイメージ中を特定することを目的としている。 本研究では,シーングラフとシーングラフの推論を行うために,シーングラフガイドモジュールネットワーク(SGMN)を提案する。 また,構造化参照式推論のための大規模実世界のデータセットRef-Reasoningを提案する。
  論文  参考訳（メタデータ） (2020-04-19T11:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。