論文の概要: Empirical Analysis of Image Caption Generation using Deep Learning

• arxiv url: http://arxiv.org/abs/2105.09906v1
• Date: Fri, 14 May 2021 05:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 02:06:00.975518
• Title: Empirical Analysis of Image Caption Generation using Deep Learning
• Title（参考訳）: 深層学習を用いた画像キャプション生成の実証分析
• Authors: Aditya Bhattacharya, Eshwar Shamanna Girishekar, Padmakar Anil Deshpande
• Abstract要約: 我々は,マルチモーダル画像キャプションネットワークの様々なフレーバーを実装し,実験した。 目標は、さまざまな評価指標を使用して、各アプローチのパフォーマンスを分析することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated image captioning is one of the applications of Deep Learning which involves fusion of work done in computer vision and natural language processing, and it is typically performed using Encoder-Decoder architectures. In this project, we have implemented and experimented with various flavors of multi-modal image captioning networks where ResNet101, DenseNet121 and VGG19 based CNN Encoders and Attention based LSTM Decoders were explored. We have studied the effect of beam size and the use of pretrained word embeddings and compared them to baseline CNN encoder and RNN decoder architecture. The goal is to analyze the performance of each approach using various evaluation metrics including BLEU, CIDEr, ROUGE and METEOR. We have also explored model explainability using Visual Attention Maps (VAM) to highlight parts of the images which has maximum contribution for predicting each word of the generated caption.
• Abstract（参考訳）: 自動キャプションは、コンピュータビジョンと自然言語処理による作業の融合を含むディープラーニングの応用の1つであり、典型的にはエンコーダ-デコーダアーキテクチャを用いて実行される。 本稿では,ResNet101,DenseNet121,VGG19をベースとしたCNNエンコーダと,アテンションをベースとしたLSTMデコーダを探索するマルチモーダル画像キャプションネットワークの実装と実験を行った。 我々は,ビームサイズと事前学習語埋め込みの効果について検討し,ベースラインCNNエンコーダやRNNデコーダアーキテクチャと比較した。 目標は、BLEU、CIDEr、ROUGE、METEORなど、さまざまな評価指標を用いて、各アプローチのパフォーマンスを分析することである。 また,視覚注意マップ(vam)を用いて,生成キャプションの各単語の予測に最大寄与のある画像の一部をハイライトするモデル説明可能性についても検討した。

関連論文リスト

• A TextGCN-Based Decoding Approach for Improving Remote Sensing Image Captioning [0.15346678870160887]
  テキストグラフ畳み込みネットワーク(TextGCN)と多層LSTMをデプロイする新しいエンコーダデコーダ構成を提案する。 TextGCNによって生成された埋め込みは、文レベルとコーパスレベルの両方で単語間の意味的関係をキャプチャすることでデコーダの理解を高める。 我々は,他の最先端のエンコーダ・デコーダフレームワークに対して,我々のアプローチを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-09-27T06:12:31Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Compressed Image Captioning using CNN-based Encoder-Decoder Framework [0.0]
  畳み込みニューラルネットワーク(CNN)とエンコーダ・デコーダモデルの強みを組み合わせた自動画像キャプションアーキテクチャを開発した。 また、事前訓練されたCNNモデルの領域を掘り下げた性能比較も行います。 我々はまた,周波数正規化手法を統合して "AlexNet" と "EfficientNetB0" モデルを圧縮する手法についても検討した。
  論文  参考訳（メタデータ） (2024-04-28T03:47:48Z)
• Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
  我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
  論文  参考訳（メタデータ） (2023-05-03T15:18:37Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Image Captioning based on Feature Refinement and Reflective Decoding [0.0]
  本稿では,エンコーダデコーダを用いた画像キャプションシステムを提案する。 画像の各領域の空間的特徴とグローバルな特徴をResNet-101をバックボーンとしてFaster R-CNNを使って抽出する。 デコーダはアテンションベースのリカレントモジュールとリフレクティブアテンションモジュールからなり、デコーダの長期的なシーケンシャル依存関係をモデル化する能力を高める。
  論文  参考訳（メタデータ） (2022-06-16T07:56:28Z)
• Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation [82.61182037130406]
  本研究は,大腸内視鏡検査における画像分割,特に正確なポリープ検出とセグメンテーションを扱う。 イメージセグメンテーションの基本アーキテクチャはエンコーダとデコーダで構成されている。 我々はデコーダのバックボーンを変更することで得られるDeepLabアーキテクチャのバリエーションを比較した。
  論文  参考訳（メタデータ） (2021-04-02T02:07:37Z)
• Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation [1.2183405753834562]
  Inception-ResNet Convolutional Neural Network をエンコーダとして,画像から特徴を抽出する。 また、単語表現には階層型コンテキストベースのWord Embeddings、デコーダにはDeep Stacked Long Term Memory Networkを使用します。 提案手法をデコーダとソフトアテンションの2つの画像キャプションフレームワークを用いて評価する。
  論文  参考訳（メタデータ） (2021-02-22T18:15:39Z)
• Improved Bengali Image Captioning via deep convolutional neural network based encoder-decoder model [0.8793721044482612]
  本稿では,マルチモーダルアーキテクチャを用いたエンドツーエンド画像キャプションシステムを提案する。 提案手法の言語エンコーダは,キャプション内の微細な情報をキャプチャし,画像の特徴と組み合わせることで,正確かつ多様なキャプションを生成する。
  論文  参考訳（メタデータ） (2021-02-14T16:44:17Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Image Segmentation Using Deep Learning: A Survey [58.37211170954998]
  イメージセグメンテーションは、画像処理とコンピュータビジョンにおいて重要なトピックである。 深層学習モデルを用いた画像セグメンテーション手法の開発を目的とした研究が,これまでに数多く行われている。
  論文  参考訳（メタデータ） (2020-01-15T21:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。