論文の概要: All-in-one: Understanding and Generation in Multimodal Reasoning with the MAIA Benchmark

• arxiv url: http://arxiv.org/abs/2502.16989v1
• Date: Mon, 24 Feb 2025 09:25:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:12.645752
• Title: All-in-one: Understanding and Generation in Multimodal Reasoning with the MAIA Benchmark
• Title（参考訳）: オールインワン:MAIAベンチマークによるマルチモーダル推論の理解と生成
• Authors: Davide Testa, Giovanni Bonetta, Raffaella Bernardi, Alessandro Bondielli, Alessandro Lenci, Alessio Miaschi, Lucia Passaro, Bernardo Magnini,
• Abstract要約: MAIAはビデオにおける視覚言語モデルの推論能力の詳細な調査のために設計されたベンチマークである。 視覚言語モデル(VLM)を2つのタスクで評価する。 言語と視覚の関係を混乱させようとする12の推論カテゴリを考察する。
• 参考スコア（独自算出の注目度）: 74.4821011648997
• License:
• Abstract: We introduce MAIA (Multimodal AI Assessment), a native-Italian benchmark designed for fine-grained investigation of the reasoning abilities of visual language models on videos. MAIA differs from other available video benchmarks for its design, its reasoning categories, the metric it uses and the language and culture of the videos. It evaluates Vision Language Models (VLMs) on two aligned tasks: a visual statement verification task, and an open-ended visual question-answering task, both on the same set of video-related questions. It considers twelve reasoning categories that aim to disentangle language and vision relations by highlight when one of two alone encodes sufficient information to solve the tasks, when they are both needed and when the full richness of the short video is essential instead of just a part of it. Thanks to its carefully taught design, it evaluates VLMs' consistency and visually grounded natural language comprehension and generation simultaneously through an aggregated metric. Last but not least, the video collection has been carefully selected to reflect the Italian culture and the language data are produced by native-speakers.
• Abstract（参考訳）: ビデオ上での視覚言語モデルの推論能力の詳細な調査を目的とした,ネイティブ・イタリア語ベンチマークであるMAIA(Multimodal AI Assessment)を紹介する。 MAIAは、そのデザイン、推論カテゴリ、使用するメトリクス、およびビデオの言語と文化に関して、他の利用可能なビデオベンチマークとは異なる。 視覚言語モデル(VLM)は、視覚的ステートメント検証タスクとオープンな視覚的質問応答タスクの2つのタスクで評価される。 2人のうちの1人がタスクを解くのに十分な情報をコード化したとき、必要なとき、短いビデオの完全な豊かさが、その一部ではなく欠かせないときに、強調して、言語と視覚関係を解こうとする12の推論カテゴリについて考察する。 慎重に教えられた設計のおかげで、VLMの一貫性と視覚的に基盤付けられた自然言語の理解と生成を、集約されたメトリックを通して同時に評価する。 最後に、ビデオコレクションはイタリア文化を反映して慎重に選択されており、言語データは母国語話者によって作成されている。

関連論文リスト

• VideoDistill: Language-aware Vision Distillation for Video Question Answering [24.675876324457747]
  本稿では,視覚知覚と回答生成プロセスの両方において,言語認識(すなわち目標駆動)の振る舞いを持つフレームワークであるVideoDistillを提案する。 VideoDistillは質問関連のビジュアル埋め込みからのみ回答を生成する。 我々は,様々な挑戦的ビデオ質問応答ベンチマークを実験的に評価し,VideoDistillは最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-04-01T07:44:24Z)
• MIMIC-IT: Multi-Modal In-Context Instruction Tuning [44.879418596312554]
  本稿では,280万のマルチモーダル・インストラクション・レスポンス・ペアからなるデータセットについて述べる。 MIMIC-ITデータセットを用いて、Otterはマルチモーダル認識、推論、文脈内学習において顕著な習熟度を示した。 我々はMIMIC-ITデータセット、命令応答型コレクションパイプライン、ベンチマーク、オッターモデルをリリースする。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense [98.70218717851665]
  モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。 本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。 次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
  論文  参考訳（メタデータ） (2022-11-10T21:44:33Z)
• Fill-in-the-blank as a Challenging Video Understanding Evaluation Framework [19.031957183047048]
  28,000の動画と補足テストからなる新しいデータセットを導入する。 マルチモーダルモデルと強力な言語モデルの両方が、人間のパフォーマンスに大きなギャップがあることが示される。
  論文  参考訳（メタデータ） (2021-04-09T04:00:10Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• Unifying Vision-and-Language Tasks via Text Generation [81.3910771082967]
  一つのアーキテクチャで異なるタスクを学習する統合フレームワークを提案する。 我々のモデルは、視覚的およびテキスト的入力に基づいて、テキストでラベルを生成することを学習する。 我々の生成的アプローチは、稀な答えを持つ質問に答える上で、より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-04T17:59:30Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。