論文の概要: An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance

• arxiv url: http://arxiv.org/abs/2404.01247v2
• Date: Sun, 19 May 2024 01:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 22:41:02.054268
• Title: An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance
• Title（参考訳）: 画像は千語を話すが、誰もが聴けるか? 文化的関連性のためのイメージトランスクリエーションについて
• Authors: Simran Khanuja, Sathyanarayanan Ramamoorthy, Yueqi Song, Graham Neubig,
• Abstract要約: われわれは、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出した。 タスクを行うために、最先端の生成モデルからなる3つのパイプラインを構築します。 我々は,翻訳画像の人間による評価を行い,文化的意義と保存の意味を評価する。
• 参考スコア（独自算出の注目度）: 53.974497865647336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the rise of multimedia content, human translators increasingly focus on culturally adapting not only words but also other modalities such as images to convey the same meaning. While several applications stand to benefit from this, machine translation systems remain confined to dealing with language in speech and text. In this work, we take a first step towards translating images to make them culturally relevant. First, we build three pipelines comprising state-of-the-art generative models to do the task. Next, we build a two-part evaluation dataset: i) concept: comprising 600 images that are cross-culturally coherent, focusing on a single concept per image, and ii) application: comprising 100 images curated from real-world applications. We conduct a multi-faceted human evaluation of translated images to assess for cultural relevance and meaning preservation. We find that as of today, image-editing models fail at this task, but can be improved by leveraging LLMs and retrievers in the loop. Best pipelines can only translate 5% of images for some countries in the easier concept dataset and no translation is successful for some countries in the application dataset, highlighting the challenging nature of the task. Our code and data is released here: https://github.com/simran-khanuja/image-transcreation.
• Abstract（参考訳）: マルチメディアコンテンツが盛んになると、人間の翻訳者は言葉だけでなく、同じ意味を伝えるために画像のような他のモダリティも文化的に適応することに集中するようになった。 この利点を享受するアプリケーションはいくつかあるが、機械翻訳システムは音声やテキストでの言語処理に限られている。 本研究では、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出す。 まず、そのタスクを行うために最先端の生成モデルからなる3つのパイプラインを構築します。 次に、2部評価データセットを構築します。 一 イメージごとに一つの概念に焦点をあてて、文化的に整合性のある600のイメージからなる概念 二 応用:現実世界の応用から算出した百枚の画像を含むもの 我々は,翻訳画像の多面的評価を行い,その文化的意義と保存性を評価する。 現在、画像編集モデルは、このタスクでは失敗するが、ループ内のLLMとレトリバーを活用することで改善できる。 ベストパイプラインは、より簡単なコンセプトデータセットで画像の5%しか変換できないため、アプリケーションデータセットのいくつかの国では翻訳が成功せず、タスクの難易度を強調している。 私たちのコードとデータはここでリリースされています。

関連論文リスト

• Multilingual Diversity Improves Vision-Language Representations [66.41030381363244]
  このデータセットの事前トレーニングは、ImageNet上で英語のみまたは英語が支配するデータセットを使用してパフォーマンスが向上する。 GeoDEのような地理的に多様なタスクでは、アフリカから得られる最大の利益とともに、すべての地域における改善も観察します。
  論文  参考訳（メタデータ） (2024-05-27T08:08:51Z)
• NewsStories: Illustrating articles with visual summaries [49.924916589209374]
  我々は,3300万記事,2200万画像,100万ビデオを含む大規模マルチモーダルデータセットを提案する。 現状の画像テキストアライメント手法は、複数の画像を持つ長い物語に対して堅牢ではないことを示す。 本稿では,GoodNewsデータセット上で,ゼロショット画像セット検索において,これらの手法を10%向上させる直感的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:34:11Z)
• Multimodal Neural Machine Translation with Search Engine Based Image Retrieval [4.662583832063716]
  バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。 提案手法は,強いベースラインに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-26T08:42:06Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Visually Grounded Reasoning across Languages and Cultures [27.31020761908739]
  我々は、より多くの言語や文化を表すImageNetスタイルの階層を構築するための新しいプロトコルを開発する。 我々は、インドネシア語、中国語、スワヒリ語、タミル語、トルコ語など、類型的に多様な言語群に焦点を当てている。 画像のペアについて,ネイティブ話者アノテータから文を抽出することにより,多言語による視覚・言語上の多言語推論(MARVL)データセットを作成する。
  論文  参考訳（メタデータ） (2021-09-28T16:51:38Z)
• Exploiting BERT For Multimodal Target SentimentClassification Through Input Space Translation [75.82110684355979]
  オブジェクト認識変換器を用いて入力空間内の画像を変換する2ストリームモデルを提案する。 次に、翻訳を利用して、言語モデルに多モーダル情報を提供する補助文を構築する。 2つのマルチモーダルTwitterデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-08-03T18:02:38Z)
• TextMage: The Automated Bangla Caption Generator Based On Deep Learning [1.2330326247154968]
  TextMageはバングラデシュの地理的文脈に属する視覚シーンを理解することができるシステムである。 このデータセットには、9,154のイメージと、各イメージに対する2つのアノテーションが含まれている。
  論文  参考訳（メタデータ） (2020-10-15T23:24:15Z)
• Semi-supervised Learning for Few-shot Image-to-Image Translation [89.48165936436183]
  本稿では,SEMITと呼ばれる画像翻訳のための半教師付き手法を提案する。 提案手法は,ソースラベルの10%以下を用いて,4つの異なるデータセットに対して優れた結果を得る。
  論文  参考訳（メタデータ） (2020-03-30T22:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。