論文の概要: Beyond RNNs: Benchmarking Attention-Based Image Captioning Models

• arxiv url: http://arxiv.org/abs/2502.18734v1
• Date: Wed, 26 Feb 2025 01:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:14.481677
• Title: Beyond RNNs: Benchmarking Attention-Based Image Captioning Models
• Title（参考訳）: RNNを超えて: 注意に基づく画像キャプチャモデルのベンチマーク
• Authors: Hemanth Teja Yanambakkam, Rahul Chinthala,
• Abstract要約: 本研究は、RNNに基づくアプローチに対して、注意に基づく画像キャプションモデルの性能をベンチマークする。 画像特徴と生成されたキャプションのアライメントを高めるためのバハダナウアテンションの有効性を評価する。 その結果,注目に基づくモデルは,より正確で意味的にリッチなキャプションを生成する上で,RNNよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Image captioning is a challenging task at the intersection of computer vision and natural language processing, requiring models to generate meaningful textual descriptions of images. Traditional approaches rely on recurrent neural networks (RNNs), but recent advancements in attention mechanisms have demonstrated significant improvements. This study benchmarks the performance of attention-based image captioning models against RNN-based approaches using the MS-COCO dataset. We evaluate the effectiveness of Bahdanau attention in enhancing the alignment between image features and generated captions. The models are assessed using natural language processing metrics such as BLEU, METEOR, GLEU, and WER. Our results show that attention-based models outperform RNNs in generating more accurate and semantically rich captions, with better alignment to human evaluation. This work provides insights into the impact of attention mechanisms in image captioning and highlights areas for future improvements.
• Abstract（参考訳）: 画像キャプションは、コンピュータビジョンと自然言語処理の交差において困難なタスクであり、画像の有意義なテキスト記述を生成するためにモデルを必要とする。 従来のアプローチはリカレントニューラルネットワーク(RNN)に依存していたが、近年の注意機構の進歩は大幅に改善されている。 本研究は,MS-COCOデータセットを用いたRNNに基づくアプローチに対して,注目に基づく画像キャプションモデルの性能をベンチマークする。 画像特徴と生成されたキャプションのアライメントを高めるためのバハダナウアテンションの有効性を評価する。 モデルはBLEU、METEOR、GLEU、WERなどの自然言語処理メトリクスを用いて評価される。 その結果,注目に基づくモデルは,より正確で意味的にリッチなキャプションを生成する上で,人間による評価に適合して,RNNよりも優れていることがわかった。 この研究は、画像キャプションにおけるアテンションメカニズムの影響に関する洞察を与え、将来の改善のための領域を強調する。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• A Comparative Study of Pre-trained CNNs and GRU-Based Attention for Image Caption Generation [9.490898534790977]
  本稿では,GRUに基づくアテンション機構を用いた画像キャプション生成のためのディープニューラルネットワークフレームワークを提案する。 提案手法では,複数の事前学習された畳み込みニューラルネットワークをエンコーダとして,画像から特徴を抽出し,文を生成するデコーダとしてGRUベースの言語モデルを用いる。
  論文  参考訳（メタデータ） (2023-10-11T07:30:01Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• SR-GNN: Spatial Relation-aware Graph Neural Network for Fine-Grained Image Categorization [24.286426387100423]
  本稿では,最も関連性の高い画像領域からコンテキスト認識機能を集約することで,微妙な変化を捉える手法を提案する。 我々のアプローチは、近年の自己注意とグラフニューラルネットワーク(GNN)の発展にインスパイアされている。 これは、認識精度のかなりの差で最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-09-05T19:43:15Z)
• Image Captioning based on Feature Refinement and Reflective Decoding [0.0]
  本稿では,エンコーダデコーダを用いた画像キャプションシステムを提案する。 画像の各領域の空間的特徴とグローバルな特徴をResNet-101をバックボーンとしてFaster R-CNNを使って抽出する。 デコーダはアテンションベースのリカレントモジュールとリフレクティブアテンションモジュールからなり、デコーダの長期的なシーケンシャル依存関係をモデル化する能力を高める。
  論文  参考訳（メタデータ） (2022-06-16T07:56:28Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• A Deep Neural Framework for Image Caption Generation Using GRU-Based Attention Mechanism [5.855671062331371]
  本研究では、事前学習された畳み込みニューラルネットワーク(CNN)を用いて画像から特徴を抽出し、特徴を注意機構と統合し、繰り返しニューラルネットワーク(RNN)を用いてキャプションを作成するシステムを開発することを目的とする。 MSCOCOデータセットでは、実験結果が最先端のアプローチと競合する性能を達成する。
  論文  参考訳（メタデータ） (2022-03-03T09:47:59Z)
• Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
  本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。 性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。 特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
  論文  参考訳（メタデータ） (2021-12-09T22:05:05Z)
• CAGAN: Text-To-Image Generation with Combined Attention GANs [70.3497683558609]
  テキスト記述に基づく写真リアルな画像を生成するために,CAGAN(Combined Attention Generative Adversarial Network)を提案する。 提案されたCAGANは2つの注意モデルを用いている:関連語に条件付きで異なる部分領域を描画する単語注意と、チャネル間の非線形相互作用をキャプチャする絞りと励起の注意である。 スペクトル正規化によるトレーニングの安定化により、提案したCAGANは、CUBデータセット上のISとFID、より困難なCOCOデータセット上のFIDの技術を改良する。
  論文  参考訳（メタデータ） (2021-04-26T15:46:40Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。