論文の概要: FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios

• arxiv url: http://arxiv.org/abs/2604.07413v2
• Date: Sun, 12 Apr 2026 03:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 14:47:45.703838
• Title: FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios
• Title（参考訳）: FORGE:製造シナリオの細粒度マルチモーダル評価
• Abstract要約: 製造業セクターは、単純な認識から自律的な実行に移行するために、MLLM(Multimodal Large Language Models)をますます採用している。 進捗は、データの不足と、既存のデータセットにおけるきめ細かいドメインセマンティクスの欠如によって妨げられている。 まず、実世界の2D画像と3Dポイントクラウドを組み合わせて、微粒なドメインセマンティクスを付加した高品質なデータセットを構築します。 次に, 3 つの製造課題,すなわち, 構造面検査, 組立検査, 組立検証の18の最先端MLLMを評価し, 大幅な性能差を明らかにした。
• 参考スコア（独自算出の注目度）: 58.34124792457706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The manufacturing sector is increasingly adopting Multimodal Large Language Models (MLLMs) to transition from simple perception to autonomous execution, yet current evaluations fail to reflect the rigorous demands of real-world manufacturing environments. Progress is hindered by data scarcity and a lack of fine-grained domain semantics in existing datasets. To bridge this gap, we introduce FORGE. Wefirst construct a high-quality multimodal dataset that combines real-world 2D images and 3D point clouds, annotated with fine-grained domain semantics (e.g., exact model numbers). We then evaluate 18 state-of-the-art MLLMs across three manufacturing tasks, namely workpiece verification, structural surface inspection, and assembly verification, revealing significant performance gaps. Counter to conventional understanding, the bottleneck analysis shows that visual grounding is not the primary limiting factor. Instead, insufficient domain-specific knowledge is the key bottleneck, setting a clear direction for future research. Beyond evaluation, we show that our structured annotations can serve as an actionable training resource: supervised fine-tuning of a compact 3B-parameter model on our data yields up to 90.8% relative improvement in accuracy on held-out manufacturing scenarios, providing preliminary evidence for a practical pathway toward domain-adapted manufacturing MLLMs. The code and datasets are available at https://ai4manufacturing.github.io/forge-web.
• Abstract（参考訳）: 製造業セクターは、単純な認識から自律的な実行への移行に向けて、MLLM(Multimodal Large Language Models)の採用が増えているが、現在の評価は、現実の製造業環境の厳密な要求を反映していない。 進捗は、データの不足と、既存のデータセットにおけるきめ細かいドメインセマンティクスの欠如によって妨げられている。 このギャップを埋めるために、ForGEを紹介します。 まず、実世界の2D画像と3Dポイントクラウドを組み合わせた高品質なマルチモーダルデータセットを構築します。 次に,3つの製造課題,すなわちワークピース検証,構造表面検査,組立検証の18の最先端MLLMを評価し,大幅な性能差を明らかにした。 従来の理解とは対照的に、ボトルネック分析は視覚的接地が主要な制限要因ではないことを示している。 代わりに、ドメイン固有の知識が不足することが重要なボトルネックであり、将来の研究の明確な方向性を定めている。 我々のデータに対するコンパクトな3Bパラメータモデルの微調整は、保持された製造シナリオの精度を最大90.8%向上させ、ドメイン適応型製造MLLMへの実践的経路の予備的証拠を提供する。 コードとデータセットはhttps://ai4manufacturing.github.io/forge-webで公開されている。

関連論文リスト

• MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding [13.985610562698348]
  我々は、MLLMの推論能力を利用して、きめ細かい製品属性を明示的にモデル化することが大きな可能性を秘めていると論じる。 製品表現学習のためのMLLMに基づく最初の推論モデルであるMOON3.0を提案する。
  論文  参考訳（メタデータ） (2026-04-01T05:55:25Z)
• LLM-Driven 3D Scene Generation of Agricultural Simulation Environments [1.002902747701998]
  3Dシーン生成のための大規模言語モデル(LLM)は、将来性を示すが、しばしばドメイン固有の推論、検証機構、モジュール設計を欠いている。 本稿では,LLMを用いて自然言語のプロンプトから農業用合成シミュレーション環境を生成する。 モジュール型マルチLLMパイプラインを開発し、3Dアセット検索、ドメイン知識注入、Unrealレンダリングエンジンのためのコード生成を統合した。
  論文  参考訳（メタデータ） (2026-02-12T08:33:01Z)
• Follow-Your-Instruction: A Comprehensive MLLM Agent for World Data Synthesis [44.66179436245703]
  Follow-Your-Instructionは、高品質な2D、3D、4Dデータを自動合成するフレームワークである。 3Dレイアウトを構築し、セマンティックリファインメントのためにビジョン・ランゲージ・モデル(VLM)を利用する。 本研究では,2D,3D,4D生成タスクに関する総合的な実験を通じて,生成データの品質を評価する。
  論文  参考訳（メタデータ） (2025-08-07T17:12:54Z)
• Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
  我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。 提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。 本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-26T11:53:59Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• 3DBench: A Scalable 3D Benchmark and Instruction-Tuning Dataset [13.808860456901204]
  3DBenchと呼ばれる大規模命令チューニングデータセットを伴って,スケーラブルな3Dベンチマークを導入する。 具体的には、オブジェクトレベルからシーンレベルまで、幅広い空間的・意味的なスケールにまたがるベンチマークを確立する。 我々は、スケーラブルな3D命令チューニングデータセットを自動構築するための厳格なパイプラインを提案し、合計0.23百万QAペアが生成される10の多様なマルチモーダルタスクをカバーしている。
  論文  参考訳（メタデータ） (2024-04-23T02:06:10Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
  コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。 制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。 これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
  論文  参考訳（メタデータ） (2023-03-16T09:03:52Z)
• Synthetic-to-Real Domain Generalized Semantic Segmentation for 3D Indoor Point Clouds [69.64240235315864]
  本稿では,本課題に対して,合成-実領域一般化設定を提案する。 合成と実世界のポイントクラウドデータのドメインギャップは、主に異なるレイアウトとポイントパターンにあります。 CINMixとMulti-prototypeの両方が分配ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2022-12-09T05:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。