論文の概要: A Pathway to General-Purpose Scientific AI: Multimodal Comprehension of Scientific Images
- arxiv url: http://arxiv.org/abs/2608.14075v1
- Date: Fri, 14 Aug 2026 08:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.327773
- Title: A Pathway to General-Purpose Scientific AI: Multimodal Comprehension of Scientific Images
- Title（参考訳）: 汎用科学AIへの道:科学画像のマルチモーダル理解
- Abstract要約: ALD/E-ImageMinerベンチマークとICDAR 2026 Competition on Information extract from Atomic Layer Deposition/Etching Scientific Figuresは205の出版物から1,951の数字を提供している。
我々は、ベンチマークが将来の科学的イメージの課題をどのように導くかについて、先見的な視点を示す。
- 参考スコア（独自算出の注目度）: 0.7841007925246694
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Scientific figures and tables encode essential experimental evidence, yet remain difficult for digital libraries and multimodal AI systems to retrieve and interpret. The ALD/E-ImageMiner benchmark and ICDAR 2026 Competition on Information Extraction from Atomic Layer Deposition/Etching Scientific Figures provide 1,951 figures from 205 publications, expert-annotated for classification, data table extraction, summarization, and visual question answering. In these companion proceedings, we present a forward-looking perspective on how the benchmark can guide future scientific-image challenges. We examine how its tasks probe capabilities from visual and quantitative reading to domain-grounded reasoning and evidential justification, and how Bloom-informed question design can support deeper scientific understanding. We propose "scientific conceptual understanding from images" as a long-term benchmark objective, with future directions including broader domains and figure types, contextual and cross-document synthesis, hypothesis evaluation, provenance, uncertainty, counterfactual grounding, and open-ended multimodal research. This perspective connects the ICDAR 2026 challenge to a broader agenda for machine-actionable scientific visual knowledge and verifiable multimodal scientific AI.
- Abstract（参考訳）: 科学的な数字と表は、重要な実験的証拠を符号化するが、デジタルライブラリやマルチモーダルAIシステムが検索と解釈を困難にしている。
ALD/E-ImageMinerベンチマークとICDAR 2026 Competition on Information extract from Atomic Layer Deposition/Etching Scientific Figuresでは、205の出版物から1,951の数字が提供されている。
これらの共同手続きでは,ベンチマークが今後の科学的課題をどう導くか,今後の展望を示す。
本研究では,視覚的,定量的な読解から領域的推論,明解な正当化に至るまでのタスク能力の探索方法と,ブルームインフォームド質問設計がより深い科学的理解をいかに支援するかを検討する。
画像からの科学的概念的理解」は、より広い領域と図形タイプ、文脈と横断文書の合成、仮説評価、証明、不確実性、反事実的根拠、そしてオープンなマルチモーダル研究を含む将来の方向性を含む長期的なベンチマーク目標として提案する。
この視点は、ICDAR 2026チャレンジを、機械操作可能な科学的視覚知識と検証可能なマルチモーダル科学AIの幅広い課題に結びつけている。
関連論文リスト
- ICDAR 2026 Competition on Information Extraction from Atomic Layer Deposition/Etching (ALD/E) Scientific Figures [3.285768608836696]
最先端のマルチモーダルモデルは、分類と要約タスクでうまく機能するが、データ抽出と科学的推論に苦労する。
これらの発見は、ドメイン対応マルチモーダルAIシステムを改善するための重要な制限と課題と機会を明らかにしている。
全体として、Sci-ImageMinerベンチマークとコンペティションは、科学的図形理解と推論の研究を進めるための厳格なプラットフォームを確立している。
論文 参考訳（メタデータ） (2026-07-29T12:35:31Z) - Querying Multimodal Scientific Papers with AI: Practices and Preferences Across Blind, Low-Vision, and Sighted Scientists [19.90873686121111]
ブラインドまたはロービジョン(BLV)の科学者は伝統的に、紙の中の数字にアクセスするための静的な代替テキストに依存してきた。
人工知能(AI)の台頭は、対話型質問応答(QA)を視覚探索の可能なパラダイムにした。
我々は、さまざまなSTEM分野の5人のBLVと5人の視覚科学者にインタビューし、ChatGPTとGeminiという2つのAIツールを使ってマルチモーダルな科学文書をクエリする方法について理解した。
論文 参考訳（メタデータ） (2026-07-20T21:14:26Z) - Faithful, Enriched, and Precise: Benchmarking Natural-Science Illustration Generation by T2I models [49.93401412148884]
FEPBenchは、慎重に選択された高品質な科学イラストから構築されたベンチマークである。
我々は,T2Iモデルについて,命令忠実度,推論エンリッチメント,意味的精度の3つの次元に沿って評価する。
その結果、GPT Image 2やNano Banana Proのような最先端のクローズドソースモデルでさえ、テキストレンダリングのボトルネック、推論のリッチ化の制限、生成のリッチネスと精度のバランスの難しさに悩まされていることがわかった。
論文 参考訳（メタデータ） (2026-06-04T09:49:02Z) - S1-MMAlign: A Large-Scale, Multi-Disciplinary Dataset for Scientific Figure-Text Understanding [16.351123624587384]
S1-MMAlignは1550万以上の高品質の画像テキストペアからなる大規模で多分野のマルチモーダルデータセットである。
本稿では,Qwen-VL多モード大モデル系列を用いたAI対応セマンティックエンハンスメントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-01T08:54:51Z) - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。
深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。
私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
論文 参考訳（メタデータ） (2025-12-18T12:44:36Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers [43.18330795060871]
SPIQAは、科学研究論文の文脈内で複雑な図形や表を解釈するために設計されたデータセットである。
データセット作成には自動および手動のキュレーションを使用します。
SPIQAは270Kの質問をトレーニング、検証、3つの異なる評価分割に分割する。
論文 参考訳（メタデータ） (2024-07-12T16:37:59Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-06T00:40:53Z) - SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation [50.061029816288936]
SciFIBenchは、2000の質問を8つのカテゴリに分けた科学的図形解釈ベンチマークである。
質問はarXiv紙のフィギュアとキャプションからキュレートされ、相手のフィルターを使ってハードネガティブを見つけ、品質管理のための人間による検証を行う。
我々はSciFIBench上で28LMMを評価し、これは挑戦的なベンチマークであることが判明した。
論文 参考訳（メタデータ） (2024-05-14T17:54:17Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳（メタデータ） (2024-01-24T14:23:12Z) - Multimodal Deep Learning for Scientific Imaging Interpretation [0.0]
本研究では,SEM(Scanning Electron Microscopy)画像と人間のような相互作用を言語的にエミュレートし,評価するための新しい手法を提案する。
本稿では,ピアレビュー記事から収集したテキストデータとビジュアルデータの両方から洞察を抽出する。
我々のモデル (GlassLLaVA) は, 正確な解釈, 重要な特徴の同定, 未確認のSEM画像の欠陥の検出に優れる。
論文 参考訳（メタデータ） (2023-09-21T20:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。