論文の概要: Exploring Semantic Relationships for Unpaired Image Captioning

• arxiv url: http://arxiv.org/abs/2106.10658v1
• Date: Sun, 20 Jun 2021 09:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 10:51:07.910914
• Title: Exploring Semantic Relationships for Unpaired Image Captioning
• Title（参考訳）: 非ペア画像キャプションにおける意味関係の検討
• Authors: Fenglin Liu, Meng Gao, Tianhao Zhang, Yuexian Zou
• Abstract要約: 視覚領域と言語領域を高レベルな意味情報でブリッジすることで、不適切な画像キャプションを実現する。 画像の理解を深めるため,セマンティック・リレーション・エクスプローラーを提案する。 提案手法は,CIDErのスコアが8%に向上したペア設定下で,5つの強いベースラインを向上する。
• 参考スコア（独自算出の注目度）: 40.401322131624866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, image captioning has aroused great interest in both academic and industrial worlds. Most existing systems are built upon large-scale datasets consisting of image-sentence pairs, which, however, are time-consuming to construct. In addition, even for the most advanced image captioning systems, it is still difficult to realize deep image understanding. In this work, we achieve unpaired image captioning by bridging the vision and the language domains with high-level semantic information. The motivation stems from the fact that the semantic concepts with the same modality can be extracted from both images and descriptions. To further improve the quality of captions generated by the model, we propose the Semantic Relationship Explorer, which explores the relationships between semantic concepts for better understanding of the image. Extensive experiments on MSCOCO dataset show that we can generate desirable captions without paired datasets. Furthermore, the proposed approach boosts five strong baselines under the paired setting, where the most significant improvement in CIDEr score reaches 8%, demonstrating that it is effective and generalizes well to a wide range of models.
• Abstract（参考訳）: 近年、画像キャプションは学術界と産業界の両方に大きな関心を集めている。 既存のシステムの多くは、画像と文のペアからなる大規模なデータセット上に構築されている。 また、最新の画像キャプションシステムにおいても、深い画像理解を実現することは依然として困難である。 本研究では,視覚領域と言語領域をハイレベルな意味情報で橋渡しすることで,非ペア画像キャプションを実現する。 この動機は、画像と記述の両方から同じモダリティを持つ意味概念を抽出できるという事実に由来する。 モデルが生成するキャプションの品質をさらに向上するため,画像の理解を深めるために,意味概念間の関係を探索するセマンティック・リレーションシップ・エクスプローラを提案する。 mscocoデータセットの広範な実験は、ペアデータセットなしで望ましいキャプションを生成することができることを示している。 さらに,提案手法は,ciderスコアの大幅な改善が8%に達するペア設定下での5つの強力なベースラインを強化し,その効果を実証し,幅広いモデルにうまく一般化する。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Augment the Pairs: Semantics-Preserving Image-Caption Pair Augmentation for Grounding-Based Vision and Language Models [16.4010094165575]
  テキスト条件付きおよびテキスト条件付きデータ拡張で訓練されたロバストな句接頭辞モデルを提案する。 近年のマスク信号再構成に着想を得て,新しいデータ拡張形式としてピクセルレベルのマスキングを提案する。 提案手法は,各種メトリクスを用いた最先端技術に対する高度な性能を示す。
  論文  参考訳（メタデータ） (2023-11-05T01:14:02Z)
• FuseCap: Leveraging Large Language Models for Enriched Fused Image Captions [11.274127953112574]
  本稿では,「凍った」視覚専門家を用いて,既存のキャプションを視覚的詳細で拡張するための自動アプローチを提案する。 提案手法であるFuseCapは,そのような視覚専門家の出力を,大規模言語モデルを用いて原文のキャプションと融合する。 私たちはこの大規模な画像キャプチャーペアのデータセットをコミュニティ向けにリリースします。
  論文  参考訳（メタデータ） (2023-05-28T13:16:03Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Multi-modal reward for visual relationships-based image captioning [4.354364351426983]
  本稿では、画像のシーングラフから抽出した視覚的関係情報を画像の空間的特徴マップに融合させることにより、画像キャプションのためのディープニューラルネットワークアーキテクチャを提案する。 次に、共通埋め込み空間における言語と視覚の類似性の組み合わせを用いて、提案するネットワークの深層強化学習のためにマルチモーダル報酬関数を導入する。
  論文  参考訳（メタデータ） (2023-03-19T20:52:44Z)
• Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
  本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。 性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。 特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
  論文  参考訳（メタデータ） (2021-12-09T22:05:05Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。