論文の概要: A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning
- arxiv url: http://arxiv.org/abs/2010.01999v1
- Date: Mon, 5 Oct 2020 13:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:19:22.643341
- Title: A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning
- Title（参考訳）: リモートセンシング画像キャプションのための新しいアクターデュアルクリティックモデル
- Authors: Ruchika Chavhan, Biplab Banerjee, Xiao Xiang Zhu, and Subhasis
Chaudhuri
- Abstract要約: 深部強化学習の概念を用いて,光リモートセンシング(RS)画像からテキストキャプションを生成する問題に対処する。
本稿では,第2の批評家モデルをエンコーダ・デコーダRNNの形式で展開するアクタデュアル・クリティカルトレーニング戦略を提案する。
提案手法は, 基礎的事実と非常によく似たテストデータから文を生成し, 多くの批判事例においてさらに優れた字幕を生成することに成功している。
- 参考スコア（独自算出の注目度）: 32.11006090613004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We deal with the problem of generating textual captions from optical remote
sensing (RS) images using the notion of deep reinforcement learning. Due to the
high inter-class similarity in reference sentences describing remote sensing
data, jointly encoding the sentences and images encourages prediction of
captions that are semantically more precise than the ground truth in many
cases. To this end, we introduce an Actor Dual-Critic training strategy where a
second critic model is deployed in the form of an encoder-decoder RNN to encode
the latent information corresponding to the original and generated captions.
While all actor-critic methods use an actor to predict sentences for an image
and a critic to provide rewards, our proposed encoder-decoder RNN guarantees
high-level comprehension of images by sentence-to-image translation. We observe
that the proposed model generates sentences on the test data highly similar to
the ground truth and is successful in generating even better captions in many
critical cases. Extensive experiments on the benchmark Remote Sensing Image
Captioning Dataset (RSICD) and the UCM-captions dataset confirm the superiority
of the proposed approach in comparison to the previous state-of-the-art where
we obtain a gain of sharp increments in both the ROUGE-L and CIDEr measures.
- Abstract（参考訳）: 深部強化学習の概念を用いて,光リモートセンシング(RS)画像からテキストキャプションを生成する問題に対処する。
遠隔センシングデータを記述する参照文のクラス間類似度が高いため、文と画像を共同でエンコードすることで、多くの場合、意味的に真理よりも正確なキャプションの予測が促進される。
そこで本研究では,第2の批評家モデルをエンコーダデコーダRNNの形式で展開し,原文および生成されたキャプションに対応する潜伏情報をエンコードするアクタデュアル・クリティカルトレーニング戦略を提案する。
すべてのアクタ批判手法では,画像に対する文の予測にアクタを用いるが,提案したエンコーダデコーダRNNでは,画像の文間翻訳による高レベルの理解が保証されている。
提案モデルは、基礎的真理に非常によく似たテストデータ上で文を生成し、多くの重要なケースでさらに優れたキャプションを生成することに成功している。
RSICD(Remote Sensing Image Captioning Dataset)とUCM-Captionsデータセット(UCM-Captions Dataset)のベンチマーク実験により,ROUGE-LとCIDErの両測定値の急激な増加が得られた先行技術と比較して,提案手法の優位性が確認された。
関連論文リスト
- A TextGCN-Based Decoding Approach for Improving Remote Sensing Image Captioning [0.15346678870160887]
テキストグラフ畳み込みネットワーク(TextGCN)と多層LSTMをデプロイする新しいエンコーダデコーダ構成を提案する。
TextGCNによって生成された埋め込みは、文レベルとコーパスレベルの両方で単語間の意味的関係をキャプチャすることでデコーダの理解を高める。
我々は,他の最先端のエンコーダ・デコーダフレームワークに対して,我々のアプローチを広範囲に評価する。
論文 参考訳（メタデータ） (2024-09-27T06:12:31Z) - Spherical Linear Interpolation and Text-Anchoring for Zero-shot Composed Image Retrieval [43.47770490199544]
Composed Image Retrieval (CIR)は、画像とキャプションで構成されたクエリを使って画像を取得する複雑なタスクである。
Slerp(Spherical Linear Interpolation)を用いて画像とテキストを直接マージする新しいZS-CIR手法を提案する。
また,テキストエンコーダを固定しながら画像エンコーダを微調整するText-Anchored-Tuning (TAT)を導入する。
論文 参考訳（メタデータ） (2024-05-01T15:19:54Z) - Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。
本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。
提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
論文 参考訳（メタデータ） (2023-10-09T07:31:44Z) - Retrieval-augmented Image Captioning [15.266569206458648]
本稿では,入力画像とデータストアから検索したキャプションの集合が与えられた文を生成する画像キャプションに新たなアプローチを提案する。
我々のモデルにおけるエンコーダは、事前訓練されたV&L BERTを用いて、画像と検索されたキャプションを共同で処理する。
我々の研究は、標準分類タスクではなく、事前訓練されたV&Lエンコーダを生成タスクに利用することに貢献している。
論文 参考訳（メタデータ） (2023-02-16T12:54:13Z) - An Image captioning algorithm based on the Hybrid Deep Learning
Technique (CNN+GRU) [0.0]
本稿では,CNN-GRUエンコーダデコーダのキャプション・ツー・イメージ・コンストラクタ用デコーダフレームワークを提案する。
意味的なコンテキストと時間の複雑さを考慮に入れます。
提案モデルでは,画像キャプションのための最先端のLSTM-A5モデルよりも,時間的複雑性と精度が優れている。
論文 参考訳（メタデータ） (2023-01-06T10:00:06Z) - Large-Scale Bidirectional Training for Zero-Shot Image Captioning [44.17587735943739]
本稿では、画像キャプションをゼロショットにするための効率的なトレーニングと推論のフレームワークであるBITTERSについて紹介する。
大規模なトレーニングセットとモデルアーキテクチャを慎重に選択することが,ゼロショット画像キャプションの実現の鍵であることを示す。
論文 参考訳（メタデータ） (2022-11-13T00:09:36Z) - Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。
近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。
本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
論文 参考訳（メタデータ） (2022-05-26T03:13:43Z) - Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。
また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。
テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
論文 参考訳（メタデータ） (2022-05-26T02:46:09Z) - IR-GAN: Image Manipulation with Linguistic Instruction by Increment
Reasoning [110.7118381246156]
Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。
まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。
第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
論文 参考訳（メタデータ） (2022-04-02T07:48:39Z) - Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。
性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。
特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
論文 参考訳（メタデータ） (2021-12-09T22:05:05Z) - Intrinsic Image Captioning Evaluation [53.51379676690971]
I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。
実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
論文 参考訳（メタデータ） (2020-12-14T08:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。