論文の概要: MUNIChus: Multilingual News Image Captioning Benchmark
- arxiv url: http://arxiv.org/abs/2603.10613v1
- Date: Wed, 11 Mar 2026 10:20:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.892042
- Title: MUNIChus: Multilingual News Image Captioning Benchmark
- Title（参考訳）: MUNIChus: 多言語ニュース画像キャプチャベンチマーク
- Authors: Yuji Chen, Alistair Plum, Hansi Hettiarachchi, Diptesh Kanojia, Saroj Basnet, Marcos Zampieri, Tharindu Ranasinghe,
- Abstract要約: 最初の多言語ニュース画像キャプションベンチマークであるMUNIChusは、SinhalaやUrduといった低リソース言語を含む9つの言語で構成されている。
我々はMUNIChusの様々な最先端のニューラルニュースキャプションモデルを評価し,ニューラルニュースキャプティングが依然として困難であることを確認した。
- 参考スコア（独自算出の注目度）: 25.365083178878155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of news image captioning is to generate captions by integrating news article content with corresponding images, highlighting the relationship between textual context and visual elements. The majority of research on news image captioning focuses on English, primarily because datasets in other languages are scarce. To address this limitation, we create the first multilingual news image captioning benchmark, MUNIChus, comprising 9 languages, including several low-resource languages such as Sinhala and Urdu. We evaluate various state-of-the-art neural news image captioning models on MUNIChus and find that news image captioning remains challenging. We also make MUNIChus publicly available with over 20 models already benchmarked. MUNIChus opens new avenues for further advancements in developing and evaluating multilingual news image captioning models.
- Abstract（参考訳）: ニュース画像キャプションの目的は、ニュース記事の内容と対応する画像を統合することでキャプションを生成し、テキストコンテキストと視覚要素の関係を強調することである。
ニュース画像の字幕化に関する研究の大部分は英語に焦点を当てている。
この制限に対処するため、Sinhala や Urdu などの低リソース言語を含む9つの言語からなる、最初の多言語ニュースキャプションベンチマーク MUNIChus を作成しました。
我々はMUNIChusの様々な最先端のニューラルニュースキャプションモデルを評価し,ニューラルニュースキャプティングが依然として困難であることを確認した。
また、すでにベンチマーク済みの20以上のモデルでMUNIChusを公開しています。
MUNIChusは、多言語ニュースキャプションモデルの開発と評価におけるさらなる進歩のための新しい道を開く。
関連論文リスト
- CrossNews-UA: A Cross-lingual News Semantic Similarity Benchmark for Ukrainian, Polish, Russian, and English [53.32175252285023]
言語間のニュース比較は、情報の検証に有望なアプローチを提供する。
既存の言語間ニュース分析用のデータセットは、ジャーナリストや専門家によって手作業でキュレートされた。
我々は、多言語間ニュース類似性評価のためのスケーラブルで説明可能なクラウドソーシングパイプラインを導入する。
論文 参考訳（メタデータ） (2025-10-22T14:23:50Z) - The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning [89.64905703368255]
ゼロショットビデオキャプションのためのプログレッシブな多粒性テキストプロンプト戦略を提案する。
提案手法は,名詞句,名詞句のシーングラフ,全文を含む3つの異なる記憶バンクを構築する。
論文 参考訳（メタデータ） (2025-03-31T03:00:19Z) - EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning [55.033327333250455]
ニュース画像キャプションは、ニュース画像と関連するニュース記事とともに、エンティティに富んだ情報キャプションを生成するモデルを必要とする。
現在のMLLM(Multimodal Large Language Models)は、ニュース画像キャプションタスクのエンティティ情報を扱う場合に制限がある。
提案手法は,GoodNewsデータセット(72.33 -> 88.39)とNYTimes800kデータセット(70.83 -> 85.61)のCIDErスコアよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2024-02-29T18:03:00Z) - Assessing News Thumbnail Representativeness: Counterfactual text can enhance the cross-modal matching ability [5.111382868644429]
ニュース画像がニューステキストで議論されているアクターを表すかどうかに焦点をあてる。
我々は,1000個のニュースサムネイル画像とテキストペアのデータセットであるNewsTTを紹介する。
仮説に従って視覚と言語バイエンコーダを更新するコントラスト学習フレームワークであるCFT-CLIPを提案する。
論文 参考訳（メタデータ） (2024-02-17T01:27:29Z) - Visually-Aware Context Modeling for News Image Captioning [54.31708859631821]
News Image Captioningは、ニュース記事や画像からキャプションを作成することを目的としている。
より優れた名前埋め込みを学習するための顔命名モジュールを提案する。
私たちはCLIPを使用して、画像にセマンティックに近い文を検索します。
論文 参考訳（メタデータ） (2023-08-16T12:39:39Z) - UC2: Universal Cross-lingual Cross-modal Vision-and-Language
Pre-training [52.852163987208826]
UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。
Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。
提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
論文 参考訳（メタデータ） (2021-04-01T08:30:53Z) - Visual News: Benchmark and Challenges in News Image Captioning [18.865262609683676]
本稿では,ニュース画像キャプションタスクのためのエンティティ認識モデルであるVisual News Captionerを提案する。
また、100万以上のニュース画像からなる大規模なベンチマークであるVisual Newsを紹介します。
論文 参考訳（メタデータ） (2020-10-08T03:07:00Z) - Transform and Tell: Entity-Aware News Image Captioning [77.4898875082832]
本稿では,ニュース記事に埋め込まれた画像のキャプションを生成するエンドツーエンドモデルを提案する。
画像中の顔や物体とキャプション内の単語を関連付けることで,マルチモーダル・マルチヘッドアテンション機構によって,最初の課題に対処する。
本稿では、バイトペアエンコーディングを用いて単語部分の列としてキャプションを生成する、最先端のトランスフォーマー言語モデルによる第2の課題に取り組む。
論文 参考訳（メタデータ） (2020-04-17T05:44:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。