論文の概要: Predicting Winning Captions for Weekly New Yorker Comics
- arxiv url: http://arxiv.org/abs/2407.18949v1
- Date: Fri, 12 Jul 2024 00:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 01:06:22.464288
- Title: Predicting Winning Captions for Weekly New Yorker Comics
- Title（参考訳）: ウィークリー・ニューヨーカー・コミック賞の受賞予想
- Authors: Stanley Cao, Sonny Young,
- Abstract要約: 本稿では,ニューヨーク・カートゥーン・カートゥーン・キャプション・コンテスト(New Yorker Cartoon Caption Contest, New Yorker Cartoon Caption Contest)において,入賞者の機知とユーモアをエミュレートしたキャプションを生成することを目的とした,ニューヨーカーの漫画へのイメージキャプション技術の適用について検討する。
本稿では,ニューヨーカーの漫画キャプションコンテストのキャプションを生成するために,視覚変換器エンコーダデコーダモデルを用いた新しいベースラインを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image captioning using Vision Transformers (ViTs) represents a pivotal convergence of computer vision and natural language processing, offering the potential to enhance user experiences, improve accessibility, and provide textual representations of visual data. This paper explores the application of image captioning techniques to New Yorker cartoons, aiming to generate captions that emulate the wit and humor of winning entries in the New Yorker Cartoon Caption Contest. This task necessitates sophisticated visual and linguistic processing, along with an understanding of cultural nuances and humor. We propose several new baselines for using vision transformer encoder-decoder models to generate captions for the New Yorker cartoon caption contest.
- Abstract（参考訳）: 視覚変換器(ViTs)を用いた画像キャプションは、コンピュータビジョンと自然言語処理の重要な収束を示し、ユーザエクスペリエンスを高め、アクセシビリティを改善し、視覚データのテキスト表現を提供する。
本稿では,ニューヨーク・カートゥーン・カートゥーン・キャプション・コンテスト(New Yorker Cartoon Caption Contest, New Yorker Cartoon Caption Contest)において,入賞者の機知とユーモアをエミュレートしたキャプションを生成することを目的とした,ニューヨーカーの漫画へのイメージキャプション技術の適用について検討する。
この課題は、文化的ニュアンスやユーモアの理解とともに、洗練された視覚的・言語的な処理を必要とする。
本稿では,ニューヨーカーの漫画キャプションコンテストのキャプションを生成するために,視覚変換器エンコーダデコーダモデルを用いた新しいベースラインを提案する。
関連論文リスト
- SciCapenter: Supporting Caption Composition for Scientific Figures with Machine-Generated Captions and Ratings [28.973082312034343]
本稿では,科学的な図形キャプションのための最先端AI技術を統合する対話型システムであるSciCapenterを紹介する。
SciCapenterは学術論文で各人物の様々なキャプションを生成し、キャプションの品質を評価するためのスコアと包括的なチェックリストを提供する。
Ph.D.の学生によるユーザスタディによると、SciCapenterは字幕作成の認知負荷を著しく低下させる。
論文 参考訳（メタデータ） (2024-03-26T15:16:14Z) - CapOnImage: Context-driven Dense-Captioning on Image [13.604173177437536]
画像上のキャプション(CapOnImage)と呼ばれる新しいタスクを導入し、コンテキスト情報に基づいて画像の異なる場所で高密度キャプションを生成する。
テキストと画像位置の対応を段階的に学習するマルチレベル事前学習タスクを備えたマルチモーダル事前学習モデルを提案する。
他の画像キャプションモデルと比較すると、キャプション精度と多様性の両面で最良の結果が得られる。
論文 参考訳（メタデータ） (2022-04-27T14:40:31Z) - Injecting Semantic Concepts into End-to-End Image Captioning [61.41154537334627]
本稿では、地域特徴を抽出することなくグリッド表現を使用する、純粋視覚変換器を用いた画像キャプションモデルViTCAPを提案する。
性能向上のために,意味論的概念を予測し,それをエンドツーエンドのキャプションに組み込む新しいコンセプトトークンネットワーク(CTN)を導入する。
特に、CTNは視覚変換器に基づいて構築され、分類タスクを通じて概念トークンを予測するように設計されている。
論文 参考訳（メタデータ） (2021-12-09T22:05:05Z) - Journalistic Guidelines Aware News Image Captioning [8.295819830685536]
ニュース記事画像キャプションは、ニュース記事画像の記述的および情報的キャプションを生成することを目的としている。
一般的に画像の内容を記述する従来の画像キャプションとは異なり、ニュースキャプションは画像の内容を記述するために名前付きエンティティに大きく依存する。
本稿では,ジャーナリストが追従するキャプションガイドラインによって動機付けられた,この課題に対する新たなアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-07T04:49:50Z) - TCIC: Theme Concepts Learning Cross Language and Vision for Image
Captioning [50.30918954390918]
テーマの概念を取り入れたテーマコンセプト拡張画像キャプタリングフレームワークを提案する。
画像とキャプションの両方からテーマ概念が学習可能であることを考慮し,TTNに基づく表現学習のための2つの設定を提案する。
論文 参考訳（メタデータ） (2021-06-21T09:12:55Z) - Structural and Functional Decomposition for Personality Image Captioning
in a Communication Game [53.74847926974122]
パーソナリティ画像キャプション(PIC)は、性格特性が与えられた自然言語キャプションを持つ画像を記述することを目的としている。
本稿では,話者とリスナーのコミュニケーションゲームに基づくPICの新しい定式化を提案する。
論文 参考訳（メタデータ） (2020-11-17T10:19:27Z) - VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning [128.6138588412508]
本稿では,字幕アノテーションがない場合に事前学習を行うVIVO(Visual VOcabulary Pretraining)を提案する。
本モデルでは,新しいオブジェクトを記述した画像キャプションを生成するだけでなく,それらのオブジェクトの位置を識別する。
論文 参考訳（メタデータ） (2020-09-28T23:20:02Z) - Pragmatic Issue-Sensitive Image Captioning [11.998287522410404]
課題感性画像キャプション(ISIC)を提案する。
ISICは、ターゲット画像とイシューを付与したキャプションシステムであり、関連する情報を特定する方法で分割された画像の集合である。
我々は,ISICが視覚質問応答の関連タスクを補完し,強化する方法について述べる。
論文 参考訳（メタデータ） (2020-04-29T20:00:53Z) - Egoshots, an ego-vision life-logging dataset and semantic fidelity
metric to evaluate diversity in image captioning models [63.11766263832545]
我々は,字幕のない実生活画像978枚からなる新しい画像キャプションデータセット,Egoshotsを提案する。
生成されたキャプションの品質を評価するために,新しい画像キャプション指標,オブジェクトベースセマンティックフィデリティ(SF)を提案する。
論文 参考訳（メタデータ） (2020-03-26T04:43:30Z) - TextCaps: a Dataset for Image Captioning with Reading Comprehension [56.89608505010651]
テキストは人間環境において一様であり、環境を理解するためにしばしば重要である。
画像のコンテキストにおけるテキストの理解方法を研究するために,新しいデータセットであるTextCapsを,28k画像用の145kキャプションで収集した。
我々のデータセットは、テキストを認識し、それをその視覚的コンテキストに関連付け、テキストのどの部分をコピーするか、言い換えるかを決定するモデルに挑戦する。
論文 参考訳（メタデータ） (2020-03-24T02:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。