論文の概要: MIDAL: Math Image Descriptions for Accessible Learning

• arxiv url: http://arxiv.org/abs/2608.00868v1
• Date: Sat, 01 Aug 2026 21:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.965444
• Title: MIDAL: Math Image Descriptions for Accessible Learning
• Title（参考訳）: MIDAL:アクセシブル学習のための数学的画像記述
• Abstract要約: Math Image Descriptions for Accessible Learning (MIDAL)は、複数の教育レベルにまたがる2,020の数学的イメージのデータセットである。 MIDALは視覚言語モデルをトレーニングし、アクセシビリティのベストプラクティスに従って画像記述を作成するために使用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many open educational resources are lacking in accessibility, especially in-depth image descriptions. In subjects like Science and Mathematics, however, it can be particularly difficult to write image descriptions since there can be many complicated expressions and names depending upon the course level. To help fill that gap in a small way, we introduce Math Image Descriptions for Accessible Learning (MIDAL), a math image-description dataset of 2,020 mathematical images spanning multiple educational levels, to aid in training vision language models to create image descriptions following accessibility best practices. We hope MIDAL is a valuable resource in enhancing the conversation and innovation regarding accessibility of STEM content in higher education. This dataset is however not just limited in math description generation but can also be used to fine-tune language models that can have improved mathematical reasoning and answers.
• Abstract（参考訳）: 多くのオープンな教育資源はアクセシビリティを欠いている。 しかし、理科や数学などの科目では、コースレベルに応じて複雑な表現や名前が多数存在するため、画像記述を書くことは特に困難である。 このギャップを小さな方法で埋めるために、アクセシビリティー学習のためのMath Image Descriptions for Accessible Learning (MIDAL)を導入する。これは、複数の教育レベルにまたがる2,020の数学的画像の数学的画像記述データセットで、アクセシビリティーのベストプラクティスに従って画像記述を作成するための視覚言語モデルのトレーニングを支援する。 MIDALは、高等教育におけるSTEMコンテンツのアクセシビリティに関する会話とイノベーションを強化する上で、貴重なリソースとなることを願っている。 しかしながら、このデータセットは数学の記述生成に限らず、数学的推論と解法を改善することができる言語モデルを微調整するためにも使用できる。

関連論文リスト

• MathReal: We Keep It Real! A Real Scene Benchmark for Evaluating Math Reasoning in Multimodal Large Language Models [29.7077721906364]
  MathRealは2000の数学的質問と、ハンドヘルドモバイルデバイスが実際のシナリオで捉えた画像からなるデータセットである。 MathRealは5つの中核的な知識と能力のカテゴリにまたがっており、3つの質問タイプを含み、3つの困難レベルに分けられる。 実世界のシナリオにおける最先端MLLMのマルチモーダル数学的推論能力を評価する。
  論文  参考訳（メタデータ） (2025-08-08T04:39:16Z)
• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• DrawEduMath: Evaluating Vision Language Models with Expert-Annotated Students' Hand-Drawn Math Images [19.425346207453927]
  DrawEduMathは、数学問題に対する学生の手書き回答の2,030枚の画像からなる英語のデータセットである。 教師は、各画像のフリーフォーム記述と11,661対の質問回答(QA)を含む詳細なアノテーションを提供した。 最先端のビジョン言語モデルでさえ、DrawEduMathの質問に多くの改善の余地があることを示します。
  論文  参考訳（メタデータ） (2025-01-24T19:03:42Z)
• Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
  画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。 双曲型視覚言語モデルのための構成的包摂学習を提案する。 数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T14:12:50Z)
• PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions [65.73013453373349]
  PixWizardは、画像生成、操作、翻訳を自由言語命令に基づいて行うために設計されたイメージ・ツー・イメージのビジュアルアシスタントである。 我々は、様々な視覚タスクを統一された画像テキスト・画像生成フレームワークに取り組み、Omni Pixel-to-Pixel Instruction-Tuningデータセットをキュレートする。 我々の実験は、PixWizardが様々な解像度の画像に対して印象的な生成能力と理解能力を示すだけでなく、目に見えないタスクや人間の指示で有望な一般化能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:46Z)
• Assistive Image Annotation Systems with Deep Learning and Natural Language Capabilities: A Review [0.0]
  本稿では、入力画像のテキスト提案、キャプション、記述をアノテータに提供するためのAI支援型ディープラーニング画像アノテーションシステムについて検討する。 各種データセットをレビューし,AI補助アノテーションシステムのトレーニングと評価にどのように貢献するかを検討する。 有望な可能性にもかかわらず、テキスト出力機能を備えたAIアシスト画像アノテーションに関する公開作業は限られている。
  論文  参考訳（メタデータ） (2024-06-28T22:56:17Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Artwork Explanation in Large-scale Vision Language Models [32.645448509968226]
  大規模視覚言語モデル(LVLM)は、画像と命令からテキストを出力し、テキスト生成と理解の高度な能力を示す。 そこで我々は,その評価データセットとメトリクスとともに,アートワークの説明生成タスクを提案する。 画像と作品名の両方から説明を生成することと、画像のみを用いて説明を生成することの2つの部分で構成されている。 以上の結果から,LVLMは言語情報と視覚情報の統合に苦慮するだけでなく,画像のみからの知識獲得にも限界があることが示唆された。
  論文  参考訳（メタデータ） (2024-02-29T19:01:03Z)
• ITEm: Unsupervised Image-Text Embedding Learning for eCommerce [9.307841602452678]
  製品埋め込みは、電子商取引における幅広い応用の基礎となる。 本稿では,画像とテキストのモダリティによく対応できる画像テキスト埋め込みモデル(ITEm)を提案する。 我々は、非常に類似した商品の探索と製品カテゴリーの予測という2つのタスクにおいて、事前訓練されたITTmを評価する。
  論文  参考訳（メタデータ） (2023-10-22T15:39:44Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning [46.4308182215488]
  テキストベースの画像は、豊富で複雑なマルチモーダルリレーショナルコンテンツを直感的に含む。 マルチモーダル relAtional Graph adversarIal inferenCe framework for various and unpaired TextCap。 画像の異なる関係情報項目から多種多様なキャプションを生成するためのMAGICの有効性を検証する。
  論文  参考訳（メタデータ） (2021-12-13T11:00:49Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。