論文の概要: Semantic search for 100M+ galaxy images using AI-generated captions
- arxiv url: http://arxiv.org/abs/2512.11982v1
- Date: Fri, 12 Dec 2025 19:06:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.05806
- Title: Semantic search for 100M+ galaxy images using AI-generated captions
- Title（参考訳）: AIキャプションを用いた1億以上の銀河画像のセマンティック検索
- Authors: Nolan Koblischke, Liam Parker, Francois Lanusse, Irina Espejo Morales, Jo Bovy, Shirley Ho,
- Abstract要約: ラベルのない画像データからセマンティック検索エンジンを作成するパイプラインを開発する。
我々のモデルであるAION-Searchは、稀な現象の発見において最先端のゼロショット性能を実現する。
AION-Searchは初めて、1億4000万の銀河画像にスケーラブルなフレキシブルセマンティック検索を可能にする。
- 参考スコア（独自算出の注目度）: 0.9982481289515875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Finding scientifically interesting phenomena through slow, manual labeling campaigns severely limits our ability to explore the billions of galaxy images produced by telescopes. In this work, we develop a pipeline to create a semantic search engine from completely unlabeled image data. Our method leverages Vision-Language Models (VLMs) to generate descriptions for galaxy images, then contrastively aligns a pre-trained multimodal astronomy foundation model with these embedded descriptions to produce searchable embeddings at scale. We find that current VLMs provide descriptions that are sufficiently informative to train a semantic search model that outperforms direct image similarity search. Our model, AION-Search, achieves state-of-the-art zero-shot performance on finding rare phenomena despite training on randomly selected images with no deliberate curation for rare cases. Furthermore, we introduce a VLM-based re-ranking method that nearly doubles the recall for our most challenging targets in the top-100 results. For the first time, AION-Search enables flexible semantic search scalable to 140 million galaxy images, enabling discovery from previously infeasible searches. More broadly, our work provides an approach for making large, unlabeled scientific image archives semantically searchable, expanding data exploration capabilities in fields from Earth observation to microscopy. The code, data, and app are publicly available at https://github.com/NolanKoblischke/AION-Search
- Abstract（参考訳）: 手動ラベリングによって科学的に興味深い現象を見つけることは、望遠鏡が生成する何十億もの銀河画像を探索する能力を著しく制限します。
本研究では,完全にラベル付けされていない画像データからセマンティック検索エンジンを構築するパイプラインを開発する。
提案手法は,VLM(Vision-Language Models)を用いて銀河画像の記述を生成し,それに対して,事前学習したマルチモーダル天文学基礎モデルとそれらの埋め込み記述を対比して,大規模に探索可能な埋め込みを生成する。
現在のVLMは,直接画像類似性検索よりも優れたセマンティック検索モデルを訓練するのに十分な情報を提供する。
我々のモデルであるAION-Searchは、ランダムに選択された画像に対して、稀なケースに対する意図的なキュレーションを伴わない訓練をしても、稀な事象を見つけるための最先端のゼロショット性能を実現する。
さらに、トップ100の結果において最も困難なターゲットのリコールをほぼ2倍にする、VLMベースのリグレード手法を導入する。
AION-Searchは初めて、1億4000万の銀河画像にスケーラブルなフレキシブルなセマンティックサーチを可能にし、これまで不可能だったサーチの発見を可能にした。
より広範に、我々の研究は、地球観測から顕微鏡まで、フィールドにおけるデータ探索能力を拡大し、意味的に検索可能な、大規模でラベルなしの科学画像アーカイブを作るためのアプローチを提供する。
コード、データ、アプリはhttps://github.com/NolanKoblischke/AION-Searchで公開されている。
関連論文リスト
- MedROV: Towards Real-Time Open-Vocabulary Detection Across Diverse Medical Imaging Modalities [89.81463562506637]
医用画像のための最初のリアルタイムオープン語彙検出モデルであるMedROVを紹介する。
対照的な学習とクロスモーダル表現を活用することで、MedROVは既知の構造と新しい構造の両方を効果的に検出する。
論文 参考訳（メタデータ） (2025-11-25T18:59:53Z) - Can AI Dream of Unseen Galaxies? Conditional Diffusion Model for Galaxy Morphology Augmentation [4.3933321767775135]
本研究では,機械学習データを拡張するために,現実的な銀河画像を合成するための条件拡散モデルを提案する。
本研究では,本モデルが特定の形態的特徴条件に密着した多彩な高忠実度銀河画像を生成することを示す。
このモデルにより、生成外挿により、よく注釈付けされたデータを未知の領域に投影し、希少なオブジェクト検出を進めることができる。
論文 参考訳（メタデータ） (2025-06-19T11:44:09Z) - OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。
地理空間応用に適したMLLM(OmniGeo)を提案する。
自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
論文 参考訳（メタデータ） (2025-03-20T16:45:48Z) - Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。
CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
論文 参考訳（メタデータ） (2024-07-29T18:00:10Z) - A Versatile Framework for Analyzing Galaxy Image Data by Implanting Human-in-the-loop on a Large Vision Model [14.609681101463334]
大型ビジョンモデル(LVM)と下流タスク(DST)に基づく銀河画像の一般解析のためのフレームワークを提案する。
銀河画像の低信号-雑音比を考えると、我々は大きな視覚モデルにHuman-in-the-loop (HITL)モジュールを組み込んだ。
1000のデータポイントでトレーニングされたオブジェクト検出では、DSTが96.7%、ResNet50とMask R-CNNが93.1%である。
論文 参考訳（メタデータ） (2024-05-17T16:29:27Z) - Astroformer: More Data Might not be all you need for Classification [0.0]
少ないデータ量から学習する方法であるAstroformerを紹介する。
提案手法は,Galaxy10 DECalsデータセットの画像から銀河形態を予測するための新たな最先端技術である。
論文 参考訳（メタデータ） (2023-04-03T09:38:05Z) - Self-supervised similarity search for large scientific datasets [0.0]
本稿では,大規模未ラベルデータセットの探索と活用に自己教師付き学習を用いることを提案する。
まず、各画像の対称性、不確実性、ノイズに頑健な低次元表現を除去するために、自己教師付きモデルを訓練する。
次に,この表現を用いて対話型セマンティック類似検索ツールを構築し,公開する。
論文 参考訳（メタデータ） (2021-10-25T18:00:00Z) - Large-Scale Unsupervised Object Discovery [80.60458324771571]
教師なしオブジェクトディスカバリ(UOD)は、パフォーマンスを損なう近似なしでは、大規模なデータセットにスケールアップしない。
本稿では,固有値問題やリンク解析に利用できる分散手法の武器として,ランク付け問題としてのUODの新たな定式化を提案する。
論文 参考訳（メタデータ） (2021-06-12T00:29:49Z) - Morphological classification of astronomical images with limited
labelling [0.0]
本稿では, 対向オートエンコーダ(AAE)モデルの能動的学習に基づく, 銀河形態分類の効果的な半教師付き手法を提案する。
2値分類問題(Galaxy Zoo 2決定木のトップレベル問題)では、わずか0.86万のマークアップアクションで、テスト部分で93.1%の精度を達成した。
マークアップ精度が95.5%のベストモデルです。
論文 参考訳（メタデータ） (2021-04-27T19:26:27Z) - Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。
本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。
学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
論文 参考訳（メタデータ） (2021-04-12T23:14:41Z) - Object Detection in Aerial Images: A Large-Scale Benchmark and
Challenges [124.48654341780431]
航空画像(DOTA)におけるオブジェクトデテクションの大規模データセットとODAIの総合的ベースラインについて述べる。
提案するDOTAデータセットは,11,268個の空中画像から収集した18カテゴリのオブジェクト指向ボックスアノテーションの1,793,658個のオブジェクトインスタンスを含む。
70以上の構成を持つ10の最先端アルゴリズムをカバーするベースラインを構築し,各モデルの速度と精度を評価した。
論文 参考訳（メタデータ） (2021-02-24T11:20:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。