論文の概要: Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

• arxiv url: http://arxiv.org/abs/2412.08737v1
• Date: Wed, 11 Dec 2024 19:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:48.645282
• Title: Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions
• Title（参考訳）: Euclid: 合成高忠実度ビジュアル記述によるマルチモーダルLCMのスーパーチャージ
• Authors: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger,
• Abstract要約: 本稿では,画像から2次元の幾何情報を正確に転写するMLLMの能力を評価するベンチマークであるGeoperceptionを紹介する。 次に、幾何学的タスクにおける性能向上のための戦略を探るため、総合的な実証的研究を行う。 我々は,強低レベルの幾何学的知覚に特化して最適化されたモデル群であるEuclidを開発する。
• 参考スコア（独自算出の注目度）: 23.294711275107606
• License:
• Abstract: Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.
• Abstract（参考訳）: MLLM(Multimodal large language model)は近年急速に進歩しているが、特に画像の幾何学的詳細を正確に記述する能力である低レベル視覚知覚(LLVP)に苦戦している。 この能力は、ロボット工学、医用画像分析、製造などの分野の応用に不可欠である。 本稿ではまず,画像から2次元の幾何学情報を正確に転写するMLLMの能力を評価するためのベンチマークであるGeoperceptionを紹介する。 このベンチマークを用いて,MLLMをリードする限界を実証し,幾何学的タスクにおける性能向上のための戦略を探るため,総合的な実証的研究を行う。 本研究は,高忠実度合成データの利用やデータカリキュラムによる多段階学習など,特定のモデルアーキテクチャ,トレーニング手法,データストラテジーのメリットを浮き彫りにしている。 特に、データカリキュラムによって、スクラッチから学習するのに失敗する幾何学的理解タスクを、モデルが学習することができることが分かりました。 これらの知見を活用することで、強い低レベルの幾何学的知覚に特異的に最適化されたモデルのファミリーであるEuclidを開発する。 合成マルチモーダルデータに基づいて純粋に訓練されているにもかかわらず、ユークリッドは幾何学的形状を創出するための強力な一般化能力を示している。 例えば、Euclidは最高のクローズドソースモデルであるGemini-1.5-Proを、Geoperceptionベンチマークタスクで58.56%、全タスクで平均10.65%で上回っている。

関連論文リスト

• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models [34.647839550142834]
  本稿では,MLLMの幾何学的知覚能力を評価するための新しいベンチマークであるGePBenchを紹介する。 評価の結果,現在最先端のMLLMは幾何学的知覚タスクに重大な欠陥があることが明らかとなった。 GePBenchデータを用いてトレーニングしたモデルは、幅広いベンチマークタスクにおいて大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-12-30T16:01:43Z)
• Geo-LLaVA: A Large Multi-Modal Model for Solving Geometry Math Problems with Meta In-Context Learning [4.4615747404424395]
  幾何学数学の問題は、大言語モデル(LLM)に重大な課題をもたらす 地理マス(GeoMath)と呼ばれる中国の高校教育Webサイトから,幾何学的データを抽出して,幾何学的質問応答データセットを収集する。 メタトレーニングと呼ばれる学習段階において、教師付き微調整(SFT)による検索強化を取り入れたGeo-LLaVAと呼ばれるLarge Multi-modal Model(LMM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-12T07:34:09Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Improving Multimodal LLMs Ability In Geometry Problem Solving, Reasoning, And Multistep Scoring [34.37450586634531]
  本稿では,LVLM(Large Vision Language Models)の問題解決能力を高めるため,GPSM4Kを提案する。 GPSM4Kは7～12年生の数学教科書から手作業で抽出した2157個の質問応答対を含んでいる。 このデータセットは、LVLMの幾何学的推論能力を評価するための優れたベンチマークとなる。
  論文  参考訳（メタデータ） (2024-12-01T15:19:23Z)
• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Diagram Formalization Enhanced Multi-Modal Geometry Problem Solver [11.69164802295844]
  視覚的特徴,幾何学的形式言語,自然言語表現を統合した新しいフレームワークを提案する。 本稿では,新しい合成データ手法を提案し,形式的および自然言語のキャプションを付加した大規模幾何データセットSynthGeo228Kを提案する。 我々のフレームワークは,MLLMの幾何学図処理能力を改善し,フォーマルなgeo7kデータセット上のオープンなタスクに応用範囲を広げる。
  論文  参考訳（メタデータ） (2024-09-06T12:11:06Z)
• G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model [124.68242155098189]
  大規模言語モデル(LLM)は、人間レベルの推論と生成能力に顕著な習熟性を示している。 G-LLaVAは幾何学的問題の解法において例外的な性能を示し、7Bパラメータしか持たないMathVistaベンチマークにおいて GPT-4-V を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-18T17:36:20Z)
• Graph Signal Processing for Geometric Data and Beyond: Theory and Applications [55.81966207837108]
  グラフ信号処理(GSP)は、不規則な領域に存在する処理信号を可能にする。 GSP法は、幾何データとグラフの接続をブリッジすることで、統一的に幾何データに対する手法である。 最近開発されたグラフニューラルネットワーク(GNN)は、GSPの観点からこれらのネットワークの動作を解釈している。
  論文  参考訳（メタデータ） (2020-08-05T03:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。