論文の概要: PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding

• arxiv url: http://arxiv.org/abs/2608.21853v1
• Date: Sat, 22 Aug 2026 08:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.930482
• Title: PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding
• Title（参考訳）: PUMA: 文化的なマルチモーダル理解のためのポーランドのベンチマーク
• Abstract要約: PUMAは、ポーランドの文化的・言語的文脈におけるマルチモーダルモデルの限界を調査するために設計された900の手作りタスクのベンチマークである。 このデータセットは、テキスト、画像、オーディオ、視覚的にリッチなドキュメントを処理する際の文化的理解と実践的スキルの両方を評価する。
• 参考スコア（独自算出の注目度）: 0.01666714735110092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly moving beyond text processing, adding support for other modalities such as images and audio. While text understanding and generation have been extensively studied, multimodal data processing capabilities, particularly in the context of cultures and languages other than English, have not yet been evaluated comprehensively. In this paper, we propose PUMA (Polish Unified Multimodal Assessment), a novel benchmark of 900 hand-crafted tasks designed to probe the limits of multimodal models in the Polish cultural and linguistic context. The dataset evaluates both cultural understanding and practical skill in processing text, images, audio, and visually rich documents. Our extensive evaluation of frontier commercial models, open-weights models, and specialized smaller systems highlights a significant performance gap. While top commercial models achieve high scores in visual question answering, most models struggle with complex audio or document understanding. We open-source our evaluation framework to advance localized multimodal AI research.
• Abstract（参考訳）: 大規模な言語モデルは、テキスト処理を超えて、画像やオーディオなどの他のモダリティのサポートが追加されている。 テキストの理解と生成は広く研究されているが、特に英語以外の文化や言語の文脈において、マルチモーダルなデータ処理能力はまだ総合的に評価されていない。 本稿では,ポーランドの文化的・言語的文脈におけるマルチモーダルモデルの限界を調査するために,900個の手作りタスクの新たなベンチマークであるPUMA(Polish Unified Multimodal Assessment)を提案する。 このデータセットは、テキスト、画像、オーディオ、視覚的にリッチなドキュメントを処理する際の文化的理解と実践的スキルの両方を評価する。 我々は、フロンティアの商用モデル、オープンウェイトモデル、専門的な小型システムについて広範な評価を行い、大きなパフォーマンスギャップを浮き彫りにした。 上位の商用モデルは視覚的質問応答において高いスコアを得るが、ほとんどのモデルは複雑な音声や文書理解に苦しむ。 我々は、ローカライズされたマルチモーダルAI研究を進めるための評価フレームワークをオープンソース化した。

関連論文リスト

• Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework [38.98519875112922]
  視覚言語モデル(VLM)は英語中心のデータに基づいて訓練され、他の言語や文化的な文脈での性能を制限する。 我々は、LLaVA-Next方法論を再現し、適応し、ポーランドのVLMのセットを作成します。 我々は,LLaVA-1.6-una-13Bをポーランド適応MMBenchで+9.5%改善し,高い品質の字幕を生成評価に用いた。
  論文  参考訳（メタデータ） (2026-02-15T09:54:40Z)
• Multimodal Evaluation of Russian-language Architectures [88.00147763684451]
  本稿では,ロシアの建築におけるオープンなマルチモーダル評価フレームワークであるMera Multiを紹介する。 ベンチマークはインストラクションベースで、デフォルトのテキスト、画像、オーディオ、ビデオモダリティを含んでいる。 Mera Multiは、マルチモーダルベンチマークを構築するための複製可能な方法論を提供する。
  論文  参考訳（メタデータ） (2025-11-19T15:43:53Z)
• TowerVision: Understanding and Improving Multilinguality in Vision-Language Models [56.775118098058506]
  TowerVisionは、画像テキストとビデオテキストの両方のためのオープンな多言語視覚言語モデルである。 微調整中に視覚的、文化的コンテキストを取り入れることで、私たちのモデルは既存のアプローチを超えます。 さらなる研究を支援するため、すべてのモデル、データ、トレーニングレシピを公開しています。
  論文  参考訳（メタデータ） (2025-10-22T17:02:48Z)
• DRISHTIKON: A Multimodal Multilingual Benchmark for Testing Language Models' Understanding on Indian Culture [14.681676046750342]
  DRISHTIKON(DRISHTIKON)は、インド文化を中心としたマルチモーダルおよび多言語ベンチマークである。 このデータセットは、祭り、服装、料理、芸術形式、歴史遺産を含む豊かな文化的テーマを捉えている。 我々は、オープンソースの小型・大規模モデル、プロプライエタリシステム、推論特化VLM、インデックスにフォーカスしたモデルなど、幅広い視覚言語モデル(VLM)を評価する。
  論文  参考訳（メタデータ） (2025-09-23T17:40:43Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Multimodal Large Language Models: A Survey [36.06016060015404]
  マルチモーダル言語モデルは、画像、テキスト、言語、音声、その他の異種性など、複数のデータタイプを統合する。 本稿では、マルチモーダルの概念を定義し、マルチモーダルアルゴリズムの歴史的展開を検討することから始める。 実用的なガイドが提供され、マルチモーダルモデルの技術的な側面に関する洞察を提供する。 最後に,マルチモーダルモデルの適用について検討し,開発に伴う課題について考察する。
  論文  参考訳（メタデータ） (2023-11-22T05:15:12Z)
• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。