論文の概要: Multimodal Evaluation of Russian-language Architectures

• arxiv url: http://arxiv.org/abs/2511.15552v1
• Date: Wed, 19 Nov 2025 15:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.877292
• Title: Multimodal Evaluation of Russian-language Architectures
• Title（参考訳）: ロシア語アーキテクチャのマルチモーダル評価
• Authors: Artem Chervyakov, Ulyana Isaeva, Anton Emelyanov, Artem Safin, Maria Tikhonova, Alexander Kharitonov, Yulia Lyakh, Petr Surovtsev, Denis Shevelev Vildan Saburov, Vasily Konovalov, Elisei Rykov, Ivan Sviridov, Amina Miftakhova, Ilseyar Alimova, Alexander Panchenko, Alexander Kapitanov, Alena Fenogenova,
• Abstract要約: 本稿では,ロシアの建築におけるオープンなマルチモーダル評価フレームワークであるMera Multiを紹介する。 ベンチマークはインストラクションベースで、デフォルトのテキスト、画像、オーディオ、ビデオモダリティを含んでいる。 Mera Multiは、マルチモーダルベンチマークを構築するための複製可能な方法論を提供する。
• 参考スコア（独自算出の注目度）: 89.07170838416896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) are currently at the center of research attention, showing rapid progress in scale and capabilities, yet their intelligence, limitations, and risks remain insufficiently understood. To address these issues, particularly in the context of the Russian language, where no multimodal benchmarks currently exist, we introduce Mera Multi, an open multimodal evaluation framework for Russian-spoken architectures. The benchmark is instruction-based and encompasses default text, image, audio, and video modalities, comprising 18 newly constructed evaluation tasks for both general-purpose models and modality-specific architectures (image-to-text, video-to-text, and audio-to-text). Our contributions include: (i) a universal taxonomy of multimodal abilities; (ii) 18 datasets created entirely from scratch with attention to Russian cultural and linguistic specificity, unified prompts, and metrics; (iii) baseline results for both closed-source and open-source models; (iv) a methodology for preventing benchmark leakage, including watermarking and licenses for private sets. While our current focus is on Russian, the proposed benchmark provides a replicable methodology for constructing multimodal benchmarks in typologically diverse languages, particularly within the Slavic language family.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は現在研究の中心であり、規模と能力の急速な進歩を示しているが、その知性、限界、リスクは十分に理解されていない。 これらの問題に対処するために、特に、現在マルチモーダルベンチマークが存在しないロシア語の文脈で、ロシア風アーキテクチャのためのオープンなマルチモーダル評価フレームワークであるMera Multiを導入する。 このベンチマークは命令ベースで、デフォルトのテキスト、画像、オーディオ、ビデオのモダリティを含み、汎用モデルとモダリティ固有のアーキテクチャ(画像からテキスト、ビデオからテキスト、オーディオからテキスト)の両方で新たに18の評価タスクが構築されている。 コントリビューションには以下のものがある。 一 マルチモーダル能力の普遍的な分類法 (二)ロシアの文化的・言語的特異性、統一的なプロンプト及びメトリクスに留意して、完全にゼロから作成した18のデータセット 三 クローズドソース及びオープンソースモデルのベースライン結果 四 ベンチマークの漏洩を防止するための方法であって、私的セットの透かし及びライセンスを含むもの。 我々の現在の焦点はロシア語だが、提案されたベンチマークは、特にスラヴ語族において、類型的に多様な言語でマルチモーダルベンチマークを構築するための複製可能な方法論を提供する。

関連論文リスト

• ThaiOCRBench: A Task-Diverse Benchmark for Vision-Language Understanding in Thai [2.4295338216682456]
  ThaiOCRBenchは、タイ語テキストに富んだ視覚理解タスクにおいて、視覚言語モデル(VLM)を評価するための最初の包括的なベンチマークである。 我々は、プロプライエタリシステムとオープンソースシステムの両方にまたがるゼロショット設定で、最先端のVLMを幅広く評価する。 詳細な誤り分析を通じて,言語バイアス,構造ミスマッチ,幻覚コンテンツといった重要な課題を識別する。
  論文  参考訳（メタデータ） (2025-11-06T15:57:39Z)
• MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks [37.069856351074385]
  MCIF (Multimodal Crosslingual Instruction following) は、科学的な議論に基づく最初の多言語人手によるベンチマークである。 ショートフォームとロングフォームの両方の入力に対して、クロスランガルでマルチモーダルな設定で命令追従を評価するように設計されている。 言語、視覚、テキストの3つの中核的なモダリティと4つの多言語(英語、ドイツ語、イタリア語、中国語)にまたがる。
  論文  参考訳（メタデータ） (2025-07-25T19:00:51Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。