論文の概要: ImageEval 2026: Culturally Grounded Arabic Multimodal Evaluation
- arxiv url: http://arxiv.org/abs/2608.30475v1
- Date: Mon, 31 Aug 2026 09:02:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.325343
- Title: ImageEval 2026: Culturally Grounded Arabic Multimodal Evaluation
- Title（参考訳）: ImageEval 2026: 文化に根ざしたアラビアのマルチモーダル評価
- Abstract要約: 本稿では,文化基盤のアラビアマルチモーダル評価におけるImageEval 2026共有課題の概要を紹介する。
i)AynVQA、英語および現代標準アラビア語(MSA)における音声視覚的質問応答と画像接地幻覚検出、および(ii)CRAI-Benchの2つのタスクを含み、テキスト・画像生成の文化的正確性を評価する。
テストフェーズには合計14チームが参加し、12チームがシステム説明書を提出した。
- 参考スコア（独自算出の注目度）: 22.077150957957006
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present an overview of the ImageEval 2026 shared task on culturally grounded Arabic multimodal evaluation. It includes two tasks: (i) AynVQA, covering spoken visual question answering and image-grounded hallucination detection in English and Modern Standard Arabic (MSA), and (ii) CRAI-Bench, evaluating the cultural accuracy of text-to-image generation. A total of 14 teams participated in the test phase, with 12 teams submitting system description papers. Participating systems used a range of approaches, including zero-shot prompting, fine-tuning of vision-language models, speech-recognition pipelines, ensembling, and score calibration. We describe the task setup, datasets, evaluation procedure, and participating systems, and summarize the main results across the different tracks. All datasets and evaluation scripts from the shared task are released to the research community. The shared task highlights the challenges of culturally grounded multimodal evaluation, particularly for Arabic speech and image-text reasoning.
- Abstract（参考訳）: 本稿では,文化基盤のアラビアマルチモーダル評価におけるImageEval 2026共有課題の概要を紹介する。
これには2つのタスクが含まれる。
一 英語及び現代標準アラビア語(MSA)における音声視覚質問応答及び画像接地幻覚検出を網羅したAynVQA
(II)CRAI-Bench テキスト・ツー・イメージ・ジェネレーションの文化的正確性を評価する。
テストフェーズには合計14チームが参加し、12チームがシステム説明書を提出した。
参加システムは、ゼロショットプロンプト、視覚言語モデルの微調整、音声認識パイプライン、アンサンブル、スコアキャリブレーションなど、様々なアプローチを使用した。
本稿では,タスク設定,データセット,評価手順,参加システムについて述べる。
共有タスクからのデータセットと評価スクリプトはすべて、研究コミュニティにリリースされている。
共有課題は、特にアラビア語と画像テキストの推論において、文化的に根ざしたマルチモーダル評価の課題を強調している。
関連論文リスト
- SemEval-2026 Task 7: Everyday Knowledge Across Diverse Languages and Cultures [93.36078244548077]
タスクデータは、手動で構築したBLEnDベンチマーク(Myung et al. 2024)の拡張バージョンで構成され、30以上の言語培養ペアをカバーする。
このタスクは厳密に評価のために設計されているため、参加者はトレーニング、微調整、数発の学習、その他のモデル修正のためにデータを使用することは許されなかった。
その結果を報告し、最も優れたシステムと最も広く採用されているアプローチについて分析する。
論文 参考訳（メタデータ） (2026-05-04T13:49:44Z) - RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。
RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。
画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
論文 参考訳（メタデータ） (2025-05-20T14:57:16Z) - GenAI Content Detection Task 1: English and Multilingual Machine-Generated Text Detection: AI vs. Human [71.42669028683741]
我々は,Coling 2025におけるGenAIワークショップの一環として,バイナリマシン生成テキスト検出における共有タスクを提案する。
このタスクは、モノリンガル(英: Monolingual)とマルチリンガル(英: Multilingual)の2つのサブタスクから構成される。
本稿では,データの包括的概要,結果の概要,参加システムの詳細な説明,提出内容の詳細な分析について述べる。
論文 参考訳（メタデータ） (2025-01-19T11:11:55Z) - GenAI Content Detection Task 2: AI vs. Human -- Academic Essay Authenticity Challenge [12.076440946525434]
学術エッセイ認証チャレンジ(Academic Essay Authenticity Challenge)は、2025年にコリングと共同で行われたGenAIコンテンツ検出共有タスクの一部として開催された。
この課題は、学術的な目的のために、機械生成対人間によるエッセイを検出することに焦点を当てている。
英語とアラビア語の2つの言語がある。
本稿では,タスクの定式化の概要,データセット構築プロセスの詳細,評価フレームワークについて説明する。
論文 参考訳（メタデータ） (2024-12-24T08:33:44Z) - ArAIEval Shared Task: Propagandistic Techniques Detection in Unimodal and Multimodal Arabic Content [9.287041393988485]
我々は、ACL 2024と共同で開催されるアラビア2024会議の一環として組織された、ArAIEval共有タスクの第2版の概要を示す。
この版では、(i)つぶやきやニュース記事の特定による宣伝的テキストスパンの検出、(ii)プロパガンダ主義と非プロパガンダ主義のミームを区別する2つのタスクが提供されている。
最終評価フェーズには14チームが参加し、それぞれ6チームと9チームがタスク1と2に参加した。
論文 参考訳（メタデータ） (2024-07-05T04:28:46Z) - CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。
CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。
CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
論文 参考訳（メタデータ） (2024-06-10T01:59:00Z) - An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance [53.974497865647336]
われわれは、画像の翻訳を文化的に意味のあるものにするための第一歩を踏み出した。
タスクを行うために、最先端の生成モデルからなる3つのパイプラインを構築します。
我々は,翻訳画像の人間による評価を行い,文化的意義と保存の意味を評価する。
論文 参考訳（メタデータ） (2024-04-01T17:08:50Z) - ArAIEval Shared Task: Persuasion Techniques and Disinformation Detection
in Arabic Text [41.3267575540348]
本稿では, EMNLP 2023と共同で開催される第1回アラビア2023会議の一環として組織されたArAIEval共有タスクの概要を紹介する。
ArAIEvalは、アラビア文字上の2つのタスクを提供する: (i) 説得テクニックの検出、ツイートやニュース記事における説得テクニックの識別、および (ii) ツイート上のバイナリとマルチクラスの設定における偽情報検出。
最終評価フェーズには合計20チームが参加し、タスク1と2には14チームと16チームが参加した。
論文 参考訳（メタデータ） (2023-11-06T15:21:19Z) - OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。
OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
論文 参考訳（メタデータ） (2023-05-13T11:28:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。