論文の概要: Star Light, Star Bright: Can Multimodal Models Parse an Astronomy Visual Question Answering Dataset Right?

• arxiv url: http://arxiv.org/abs/2610.22474v1
• Date: Thu, 15 Oct 2026 18:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.61136
• Title: Star Light, Star Bright: Can Multimodal Models Parse an Astronomy Visual Question Answering Dataset Right?
• Title（参考訳）: Star Light, Star Bright: マルチモーダルモデルで天文学の視覚的質問を正解できるのか?
• Abstract要約: 我々は2001年に、輪郭プロット、NASAのスカイビューから描かれた実際の望遠鏡画像、および「フェイク」スカイイメージに均等に分割された部分合成図からなるドメイン固有のVQAデータセットを構築した。 それぞれのフィギュアはプリスタンとして公開され、歴史的な天体コーパスを模倣したページエイジングのリアルな劣化を伴う。 モデルでは、ドメイン固有の質問に高い精度で答えられないことがよくあります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Figures are essential for scientific communication, and the field of Visual Question Answering (VQA) aims to test the figure understanding capabilities of large multimodal models (LMMs). Here, we investigate the accuracy of several low-cost LMMs on domain-specific VQA tasks for astronomical images of the sky. As instrument for this task we build a domain-specific VQA dataset comprising 2001 partially-synthetic figures divided evenly between contour plots, real telescope images drawn from NASA's SkyView, and "fake" sky images which share the axes and angular scales of the real images but draw their colors from a gaussian mixture model, alongside 47357 questions. Each figure is released as pristine and with realistic page-aging degradations mimicking the historical astronomical corpus. Testing three low-cost proprietary LMMs, we find models frequently fail to answer domain-specific questions at high accuracy. An initial comparison with 104 human-verified, astrometrically tagged figures from historical journal publications shows similar median errors in angular extent. All code is available on GitHub: https://github.com/jnaiman/SkyImagesWASP2026 and dataset is available on HuggingFace: https://huggingface.co/datasets/ReadingTimeMachine/astro_sky_image_vqa.
• Abstract（参考訳）: 図形は科学的なコミュニケーションに不可欠であり、視覚質問回答(VQA)の分野は、大型マルチモーダルモデル(LMM)の図形理解能力をテストすることを目的としている。 本稿では,空の天体画像に対する領域固有のVQAタスクに対する低コストLMMの精度について検討する。 このタスクの道具として、2001年の部分的に合成された図形を輪郭プロット、NASAのスカイビューから描かれた実際の望遠鏡画像と、実際の画像の軸と角スケールを共有するが、ガウスの混合モデルから色を引き出す「フェイク」スカイイメージに均等に分割したドメイン固有のVQAデータセットを構築しました。 それぞれのフィギュアはプリスタンとして公開され、歴史的な天体コーパスを模倣したページエイジングのリアルな劣化を伴う。 低コストのLMMを3つ試したところ、ドメイン固有の疑問に高い精度で答えられず、しばしばモデルが失敗することがわかった。 過去の学術誌に掲載されている、104人の人間認証された、天文学的にタグ付けされた数字との最初の比較は、角の程度で同様の中央値の誤差を示している。 https://github.com/jnaiman/SkyImagesWASP2026およびデータセットは、HuggingFace: https://huggingface.co/datasets/ReadingTimeMachine/astro_sky_image_vqa.comで利用可能である。

関連論文リスト

• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Can AI Dream of Unseen Galaxies? Conditional Diffusion Model for Galaxy Morphology Augmentation [4.3933321767775135]
  本研究では,機械学習データを拡張するために,現実的な銀河画像を合成するための条件拡散モデルを提案する。 本研究では,本モデルが特定の形態的特徴条件に密着した多彩な高忠実度銀河画像を生成することを示す。 このモデルにより、生成外挿により、よく注釈付けされたデータを未知の領域に投影し、希少なオブジェクト検出を進めることができる。
  論文  参考訳（メタデータ） (2025-06-19T11:44:09Z)
• Towards LLM Agents for Earth Observation [63.163707376462405]
  これは、NASAの地球観測所の記事から13のトピックと17の衛星センサーに関する140のイエス/ノーの質問のベンチマークである。 Google Earth Engine APIをツールとして使用すると、LLMエージェントは58%以上のコードを実行できないため、33%の精度しか達成できない。 我々は、合成データを微調整することで、オープンモデルの失敗率を改善し、より小さなモデルの方が、はるかに大きなモデルに匹敵する精度が得られるようにした。
  論文  参考訳（メタデータ） (2025-04-16T14:19:25Z)
• XAMI -- A Benchmark Dataset for Artefact Detection in XMM-Newton Optical Images [0.0]
  我々は,XMM-Newton宇宙望遠鏡の光学モニタリングカメラから,異なる種類の人工物を示す画像のデータセットを提示する。 自動ML手法のトレーニングに使用するアーティファクトで,1000枚の画像のサンプルを手書きした。 我々は、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのモデルの両方からの知識を組み合わせたハイブリッドアプローチを採用する。
  論文  参考訳（メタデータ） (2024-06-25T07:14:15Z)
• DiffusionSat: A Generative Foundation Model for Satellite Imagery [63.2807119794691]
  現在、DiffusionSatは、現在利用可能な大規模な高解像度リモートセンシングデータセットのコレクションに基づいてトレーニングされている、最大の生成基盤モデルである。 提案手法は, リアルタイムなサンプルを作成し, 時間生成, マルチスペクトル入力の超解像, インペイントなどの複数の生成課題を解くのに利用できる。
  論文  参考訳（メタデータ） (2023-12-06T16:53:17Z)
• Astronomical image time series classification using CONVolutional attENTION (ConvEntion) [0.9623578875486182]
  本稿では,画像を直接利用して,異なる種類の空間オブジェクトを分類する深層学習に基づく新しい手法を提案する。 提案手法は時間的特徴を統合し,任意の帯域を持つ様々な種類の画像データセットに適用することができる。
  論文  参考訳（メタデータ） (2023-04-03T08:48:44Z)
• How good are deep models in understanding the generated images? [47.64219291655723]
  オブジェクト認識と視覚的質問応答タスクのために、生成画像の2つのセットを収集する。 オブジェクト認識では、10の最先端オブジェクト認識モデルのうち最高のモデルが、約60%と80%のトップ-1とトップ5の精度を達成する。 VQAでは、50の画像で241のバイナリ質問に回答すると77.3%のスコアが与えられる。
  論文  参考訳（メタデータ） (2022-08-23T06:44:43Z)
• Visual Question Answering on 360{\deg} Images [96.00046925811515]
  VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。 最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
  論文  参考訳（メタデータ） (2020-01-10T08:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。