論文の概要: Creating a Lens of Chinese Culture: A Multimodal Dataset for Chinese Pun Rebus Art Understanding

• arxiv url: http://arxiv.org/abs/2406.10318v1
• Date: Fri, 14 Jun 2024 16:52:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 01:01:54.706747
• Title: Creating a Lens of Chinese Culture: A Multimodal Dataset for Chinese Pun Rebus Art Understanding
• Title（参考訳）: 中国文化のレンズを作る:中国のパン・リバス・アート理解のためのマルチモーダルデータセット
• Authors: Tuo Zhang, Tiantian Feng, Yibin Ni, Mengqin Cao, Ruying Liu, Katharine Butler, Yanjun Weng, Mi Zhang, Shrikanth S. Narayanan, Salman Avestimehr,
• Abstract要約: 我々は、伝統的な中国文化に根ざした芸術理解のために、パン・レバス・アート・データセットを提供する。 視覚的要素の健全な識別、シンボル的な意味の要素のマッチング、伝達されたメッセージの説明の3つの主要なタスクに焦点をあてる。 我々の評価は、最先端のVLMがこれらの課題に苦しむことを示し、しばしば偏見と幻覚的な説明を提供する。
• 参考スコア（独自算出の注目度）: 28.490495656348187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (VLMs) have demonstrated remarkable abilities in understanding everyday content. However, their performance in the domain of art, particularly culturally rich art forms, remains less explored. As a pearl of human wisdom and creativity, art encapsulates complex cultural narratives and symbolism. In this paper, we offer the Pun Rebus Art Dataset, a multimodal dataset for art understanding deeply rooted in traditional Chinese culture. We focus on three primary tasks: identifying salient visual elements, matching elements with their symbolic meanings, and explanations for the conveyed messages. Our evaluation reveals that state-of-the-art VLMs struggle with these tasks, often providing biased and hallucinated explanations and showing limited improvement through in-context learning. By releasing the Pun Rebus Art Dataset, we aim to facilitate the development of VLMs that can better understand and interpret culturally specific content, promoting greater inclusiveness beyond English-based corpora.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、日常的な内容を理解する際、顕著な能力を示した。 しかし、芸術分野、特に文化的に豊かな芸術形態における彼らの業績は、いまだに調査されていない。 人間の知恵と創造性の真珠として、芸術は複雑な文化的物語と象徴をカプセル化している。 本稿では,中国伝統文化に根ざした芸術理解のためのマルチモーダルデータセットであるPun Rebus Art Datasetを提案する。 視覚的要素の健全な識別、シンボル的な意味の要素のマッチング、伝達されたメッセージの説明の3つの主要なタスクに焦点をあてる。 我々の評価は、最先端のVLMがこれらの課題に苦しむことを示し、しばしばバイアス付きで幻覚的な説明を提供し、文脈内学習による限られた改善を示す。 Pun Rebus Art Datasetをリリースすることにより、文化的な特定のコンテンツをよりよく理解し、解釈し、英語のコーパスを超える包括性を促進できるVLMの開発を促進することを目指している。

関連論文リスト

• CROPE: Evaluating In-Context Adaptation of Vision and Language Models to Culture-Specific Concepts [45.77570690529597]
  文化固有の概念の知識を探索するための視覚的質問応答ベンチマークであるCROPEを紹介する。 いくつかの最先端のオープンビジョンと言語モデルの評価は、文化固有の概念と共通の概念の相違が大きいことを示す。 文脈知識を用いた実験は、モデルがマルチモーダル情報を効果的に活用し、文化固有の概念を描写に結びつけるのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-20T17:31:19Z)
• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• See It from My Perspective: Diagnosing the Western Cultural Bias of Large Vision-Language Models in Image Understanding [78.88461026069862]
  視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。 我々は、画像理解における西洋の偏見を実証し、局所化する新しい研究を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:49:51Z)
• How Culturally Aware are Vision-Language Models? [0.8437187555622164]
  神話、民俗舞踊、文化記号、シンボルなどの民俗ジャンルからのイメージは、あらゆる文化にとって不可欠である。 本研究は、これらの画像中の文化的特定情報を特定するために、4つの一般的な視覚言語モデルの性能を比較した。 画像キャプションにおける文化意識の度合いを計測する新しい評価指標であるCAS(Cultural Awareness Score)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:45:14Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance [53.974497865647336]
  われわれは、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出した。 タスクを行うために、最先端の生成モデルからなる3つのパイプラインを構築します。 我々は,翻訳画像の人間による評価を行い,文化的意義と保存の意味を評価する。
  論文  参考訳（メタデータ） (2024-04-01T17:08:50Z)
• Artwork Explanation in Large-scale Vision Language Models [32.645448509968226]
  大規模視覚言語モデル(LVLM)は、画像と命令からテキストを出力し、テキスト生成と理解の高度な能力を示す。 そこで我々は,その評価データセットとメトリクスとともに,アートワークの説明生成タスクを提案する。 画像と作品名の両方から説明を生成することと、画像のみを用いて説明を生成することの2つの部分で構成されている。 以上の結果から,LVLMは言語情報と視覚情報の統合に苦慮するだけでなく,画像のみからの知識獲得にも限界があることが示唆された。
  論文  参考訳（メタデータ） (2024-02-29T19:01:03Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• CIC: A framework for Culturally-aware Image Captioning [2.565964707090901]
  本稿では,文化を表すイメージの視覚的要素から抽出された文化要素をキャプションとして表現し,表現する新しい枠組みであるCICを提案する。 視覚的モダリティとLarge Language Models(LLM)を組み合わせた手法に着想を得て,画像から文化カテゴリーに基づく質問を生成する。 4つの異なる文化集団から45人の被験者を対象に行った人的評価から,提案する枠組みがより文化的に記述的なキャプションを生成することが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T03:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。