論文の概要: Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2604.02893v1
• Date: Fri, 03 Apr 2026 09:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.421582
• Title: Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models
• Title（参考訳）: 一般教師に向けて:視覚言語モデルを用いた手続き的幾何学データ生成と視覚的グラウンドリング
• Authors: Hai Nguyen-Truong, Alper Balbay, Tunga Bayrak,
• Abstract要約: 本稿では,参照画像(RIS)問題としての幾何学教育における視覚的説明について検討する。 図式と自然言語の記述を与えられたタスクは、参照された幾何学的要素のためのピクセルレベルのマスクを作成することである。 RefCOCOのような自然画像のベンチマークで訓練された既存のRISモデルは、幾何学図上で破滅的に失敗する。
• 参考スコア（独自算出の注目度）: 0.0050417894187191285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study visual explanation in geometry education as a Referring Image Segmentation (RIS) problem: given a diagram and a natural language description, the task is to produce a pixel-level mask for the referred geometric element. However, existing RIS models trained on natural image benchmarks such as RefCOCO fail catastrophically on geometric diagrams due to the fundamental domain shift between photographic scenes and abstract, textureless schematics. To address the absence of suitable training data, we present a fully automated procedural data engine that generates over 200,000 synthetic geometry diagrams with pixel-perfect segmentation masks and linguistically diverse referring expressions, requiring zero manual annotation. We further propose domain-specific fine-tuning of vision-language models (VLMs), demonstrating that a fine-tuned Florence-2 achieves 49% IoU and 85% Buffered IoU (BIoU), compared to <1% IoU in zero-shot settings. We introduce Buffered IoU, a geometry-aware evaluation metric that accounts for thin-structure localization, and show that it better reflects true segmentation quality than standard IoU. Our results establish a foundation for building Artificial General Teachers (AGTs) capable of providing visually grounded, step-by-step explanations of geometry problems.
• Abstract（参考訳）: 本稿では,幾何学教育における視覚的説明を参照イメージセグメンテーション (RIS) 問題として検討する。図式と自然言語記述を与えられた場合,その課題は幾何学的要素を参照するためのピクセルレベルのマスクを作成することである。 しかし、RefCOCOのような自然画像のベンチマークでトレーニングされた既存のRISモデルは、写真シーンと抽象的でテクスチャレスなスキーマの基本的なドメインシフトのために、幾何学図上で破滅的に失敗する。 適切なトレーニングデータの欠如に対処するために,20万以上の合成幾何学図を生成する完全自動手続き型データエンジンを提案する。 さらに,視覚言語モデル(VLM)のドメイン固有の微調整を提案し,0ショット設定では<1% IoUに対して,微細調整されたFlorence-2が49% IoU,85% Buffered IoU(BIoU)を達成することを示した。 本稿では, 微細構造の局所化を考慮した幾何学的評価指標であるBuffered IoUを紹介し, 標準のIoUよりも真のセグメンテーション品質を反映していることを示す。 本研究は,幾何学的問題を視覚的に理解し,段階的に説明できる汎用教師(AGT)の構築基盤を確立した。

関連論文リスト

• Hierarchical Process Reward Models are Symbolic Vision Learners [56.94353087007494]
  記号型コンピュータビジョンは、明示的な論理規則と構造化された表現を通して図を表現し、機械ビジョンの解釈可能な理解を可能にする。 これは、ピクセルベースのビジュアルモデルと根本的に異なる学習パラダイムを必要とする。 本稿では, インプットダイアグラムをプリミティブにエンコードし, インプットダイアグラムを再構築する自己教師型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2025-12-02T18:46:40Z)
• Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
  本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。 提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-12-01T16:01:41Z)
• GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training [45.42400674977197]
  GeoXは幾何学的理解と推論タスクに焦点を当てたマルチモーダルな大規模モデルである。 図形エンコーダとシンボルデコーダを開発するために,単調な事前学習を導入し,幾何学的画像やコーパスの理解を深める。 本研究では,識別クエリを生成し,不均一に分布した幾何学的信号から不定形表現を除去するジェネレータ・アンド・サンプラー変換器(GS-Former)を提案する。
  論文  参考訳（メタデータ） (2024-12-16T15:20:03Z)
• Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder [0.20718016474717196]
  本稿では、ドメイン固有言語を用いて、画像形成の先駆的選択を捉えるニューロシンボリックアーキテクチャを提案する。 我々は、その言語でテンプレートプログラムを表現し、畳み込みニューラルネットワークによってシーンから抽出された特徴を用いてパラメータ化を学ぶ。 パラメータ化されたプログラムは、実行されると幾何学的プリミティブを生成し、シーンの内容に対応するようにレンダリングして評価する。
  論文  参考訳（メタデータ） (2024-09-15T12:47:39Z)
• Diagram Formalization Enhanced Multi-Modal Geometry Problem Solver [11.69164802295844]
  視覚的特徴,幾何学的形式言語,自然言語表現を統合した新しいフレームワークを提案する。 本稿では,新しい合成データ手法を提案し,形式的および自然言語のキャプションを付加した大規模幾何データセットSynthGeo228Kを提案する。 我々のフレームワークは,MLLMの幾何学図処理能力を改善し,フォーマルなgeo7kデータセット上のオープンなタスクに応用範囲を広げる。
  論文  参考訳（メタデータ） (2024-09-06T12:11:06Z)
• Self-Supervised Image Representation Learning with Geometric Set Consistency [50.12720780102395]
  本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
  論文  参考訳（メタデータ） (2022-03-29T08:57:33Z)
• DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation [53.55300278592281]
  単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。 筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。 我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-06-27T10:41:50Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。