論文の概要: The Platonic Universe: Do Foundation Models See the Same Sky?
- arxiv url: http://arxiv.org/abs/2509.19453v1
- Date: Tue, 23 Sep 2025 18:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.556675
- Title: The Platonic Universe: Do Foundation Models See the Same Sky?
- Title(参考訳): プラトン宇宙:基礎モデルは同じ空を見るのか?
- Authors: UniverseTBD, :, Kshitij Duraphe, Michael J. Smith, Shashwat Sourav, John F. Wu,
- Abstract要約: 天文学におけるPlatonic Representation hypothesis(PRH)を表現収束の測定により検証した。
我々は、視覚変換器、自己教師付きモデル、天文学特有のアーキテクチャの表現を比較した。
以上の結果から,天文基礎モデルは事前学習された汎用アーキテクチャを利用できることが示唆された。
- 参考スコア(独自算出の注目度): 0.9143713488498514
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We test the Platonic Representation Hypothesis (PRH) in astronomy by measuring representational convergence across a range of foundation models trained on different data types. Using spectroscopic and imaging observations from JWST, HSC, Legacy Survey, and DESI, we compare representations from vision transformers, self-supervised models, and astronomy-specific architectures via mutual $k$-nearest neighbour analysis. We observe consistent scaling: representational alignment generally increases with model capacity across our tested architectures, supporting convergence toward a shared representation of galaxy astrophysics. Our results suggest that astronomical foundation models can use pre-trained general-purpose architectures, allowing us to capitalise on the broader machine learning community's already-spent computational investment.
- Abstract(参考訳): 我々は、異なるデータタイプで訓練された基礎モデルの範囲における表現収束を測定することで、天文学におけるプラトン表現仮説(PRH)を検証した。
JWST, HSC, Legacy Survey, DESIの分光・イメージング観測を用いて、相互に$k$-nearest隣り合う分析により、視覚変換器、自己監督型モデル、天文学特有のアーキテクチャの表現を比較した。
我々は一貫したスケーリングを観察する: 表現的アライメントは一般的に、テストされたアーキテクチャ全体にわたってモデル容量を増大させ、銀河天体物理学の共有表現への収束を支援する。
以上の結果から,天文学基礎モデルでは事前学習した汎用アーキテクチャを利用でき,機械学習コミュニティがすでに展開している計算投資を活用できることが示唆された。
関連論文リスト
- Causal Foundation Models: Disentangling Physics from Instrument Properties [1.3762533349477064]
コントラスト学習を訓練した二重エンコーダアーキテクチャを用いて,物理的要因と楽器的要因を分離する基礎モデルを提案する。
提案手法は,下流予測タスクにおいて,従来の単一遅延空間基盤モデルよりも大幅に優れる。
論文 参考訳(メタデータ) (2025-07-07T18:00:00Z) - Dynamic Diffusion Schrödinger Bridge in Astrophysical Observational Inversions [28.93959635012836]
動的天体物理系の文脈における拡散シュリンガーブリッジ(DSB)モデルについて検討した。
本稿では、天体物理の力学に最適化された対の領域仮定を持つDSBの変種であるAstro-DSBモデルを紹介する。
論文 参考訳(メタデータ) (2025-06-09T12:35:36Z) - Exploring the Effectiveness of Object-Centric Representations in Visual Question Answering: Comparative Insights with Foundation Models [24.579822095003685]
下流視覚質問応答(VQA)における表現学習に関する実証的研究を行った。
我々はOCモデルと代替アプローチの利点とトレードオフを徹底的に検討する。
両パラダイムの強みを活用するための,有望な道を見つける。
論文 参考訳(メタデータ) (2024-07-22T12:26:08Z) - Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation [48.66623377464203]
我々の新しいアプローチは、脳科学における神経可塑性の概念を活用する、ダイナミックワンフォーオール(DOFA)モデルを導入している。
このダイナミックなハイパーネットワークは、異なる波長に調整され、5つのセンサーのデータに基づいて1つの多目的トランスフォーマーを共同で訓練し、12の異なる地球観測タスクを遂行することを可能にする。
論文 参考訳(メタデータ) (2024-03-22T17:11:47Z) - Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。
HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。
HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-08T10:44:05Z) - A Comparative Study on Generative Models for High Resolution Solar
Observation Imaging [59.372588316558826]
本研究は、観測された太陽活動状態の背後にあるデータ分布を正確に捉えるために、現在の最先端生成モデルの能力について検討する。
スーパーコンピュータ上での分散トレーニングを用いて、人間の専門家が区別できない高品質なサンプルを生成する、最大1024x1024解像度の生成モデルを訓練することができる。
論文 参考訳(メタデータ) (2023-04-14T14:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。