論文の概要: PuzzleBench: A Fully Dynamic Evaluation Framework for Large Multimodal Models on Puzzle Solving

• arxiv url: http://arxiv.org/abs/2504.10885v1
• Date: Tue, 15 Apr 2025 05:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:43.206997
• Title: PuzzleBench: A Fully Dynamic Evaluation Framework for Large Multimodal Models on Puzzle Solving
• Title（参考訳）: PuzzleBench: パズル解決のための大規模マルチモーダルモデルのための完全な動的評価フレームワーク
• Authors: Zeyu Zhang, Zijian Chen, Zicheng Zhang, Yuze Sun, Yuan Tian, Ziheng Jia, Chunyi Li, Xiaohong Liu, Xiongkuo Min, Guangtao Zhai,
• Abstract要約: 我々は、OVPG(Open-ended Visual Puzzle Generation)という、完全に動的なマルチモーダル評価フレームワークを提案する。 OVPGは、パズル解決タスクにおいて、新しく、多様性があり、検証可能な評価データを自動的に生成することを目的としている。 OVPG上に構築されたPuzzleBenchは11,840のVQAサンプルからなる動的でスケーラブルなベンチマークである。
• 参考スコア（独自算出の注目度）: 50.50405233978406
• License:
• Abstract: Large Multimodal Models (LMMs) have demonstrated impressive capabilities across a wide range of multimodal tasks, achieving ever-increasing performance on various evaluation benchmarks. However, existing benchmarks are typically static and often overlap with pre-training datasets, leading to fixed complexity constraints and substantial data contamination issues. Meanwhile, manually annotated datasets are labor-intensive, time-consuming, and subject to human bias and inconsistency, leading to reliability and reproducibility issues. To address these problems, we propose a fully dynamic multimodal evaluation framework, named Open-ended Visual Puzzle Generation (OVPG), which aims to generate fresh, diverse, and verifiable evaluation data automatically in puzzle-solving tasks. Specifically, the OVPG pipeline consists of a raw material sampling module, a visual content generation module, and a puzzle rule design module, which ensures that each evaluation instance is primitive, highly randomized, and uniquely solvable, enabling continual adaptation to the evolving capabilities of LMMs. Built upon OVPG, we construct PuzzleBench, a dynamic and scalable benchmark comprising 11,840 VQA samples. It features six carefully designed puzzle tasks targeting three core LMM competencies, visual recognition, logical reasoning, and context understanding. PuzzleBench differs from static benchmarks that quickly become outdated. It enables ongoing dataset refreshing through OVPG and a rich set of open-ended puzzle designs, allowing seamless adaptation to the evolving capabilities of LMMs.
• Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は多様なマルチモーダルタスクにまたがって印象的な機能を示し、様々な評価ベンチマークの性能向上を実現している。 しかし、既存のベンチマークは一般的に静的であり、トレーニング済みのデータセットと重複することが多いため、固定された複雑さの制約と実質的なデータ汚染の問題につながる。 一方、手動でアノテートされたデータセットは、労働集約的で、時間がかかり、人間の偏見と矛盾を被り、信頼性と再現性の問題に繋がる。 これらの問題に対処するために、パズル解決タスクにおいて、新しく、多様性があり、検証可能な評価データを自動的に生成することを目的とした、Open-ended Visual Puzzle Generation (OVPG)という、完全に動的なマルチモーダル評価フレームワークを提案する。 具体的には、OVPGパイプラインは、原料サンプリングモジュール、ビジュアルコンテンツ生成モジュール、パズルルール設計モジュールから構成され、各評価インスタンスがプリミティブで、高度にランダム化され、一意に解決可能であることを保証し、LMMの進化する機能への継続的な適応を可能にする。 OVPG上に構築されたPuzzleBenchは11,840のVQAサンプルからなる動的でスケーラブルなベンチマークである。 3つの中核LMM能力、視覚認識、論理的推論、文脈理解をターゲットとした、慎重に設計された6つのパズルタスクが特徴である。 PuzzleBenchは、すぐに時代遅れになる静的ベンチマークとは異なる。 OVPGを通じて進行中のデータセットのリフレッシュと、豊富なオープンエンドパズルの設計を可能にし、LMMの進化する機能にシームレスに適応できる。

関連論文リスト

• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Adapting to Non-Stationary Environments: Multi-Armed Bandit Enhanced Retrieval-Augmented Generation on Knowledge Graphs [23.357843519762483]
  近年の研究では、検索-拡張生成フレームワークと知識グラフを組み合わせることで、大規模言語モデルの推論能力を強力に向上することが示されている。 我々は多目的帯域拡張RAGフレームワークを導入し、多様な機能を持つ複数の検索手法をサポートする。 本手法は,定常環境下での最先端性能を達成しつつ,非定常環境でのベースライン手法を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-10T15:56:03Z)
• Dynamic Multimodal Evaluation with Flexible Complexity by Vision-Language Bootstrapping [45.584695790489484]
  LVLM(Large Vision-Language Models)は、マルチモーダルタスクにまたがる顕著な機能を示す。 VLB(Vision-Language Bootstrapping)と呼ばれる動的マルチモーダル評価プロトコルを導入する。 VLBは、データ汚染の低減と柔軟性のある複雑さを伴うLVLMの堅牢で包括的な評価を提供する。
  論文  参考訳（メタデータ） (2024-10-11T10:33:51Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
  本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。 その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
  論文  参考訳（メタデータ） (2024-04-11T09:17:12Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [153.37868034779385]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。