論文の概要: Gestalt: a meta-foundation model for astronomy
- arxiv url: http://arxiv.org/abs/2609.38312v1
- Date: Tue, 29 Sep 2026 18:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.535786
- Title: Gestalt: a meta-foundation model for astronomy
- Title(参考訳): Gestalt:天文学のメタ境界モデル
- Abstract要約: 我々は8つのファミリーから22個の凍結基礎モデルのバスケットを組込み、各ビューを白くし、埋め込み結合の無作為なSVDを取り込む。
その結果、1024次元の埋め込みは、物理特性と銀河形態推定のための測定値の19/21において、各バスケット部材よりも優れていた。
我々は、既存の一般モデルから有用な天体基盤モデルを構築することができ、単一の教師なしプロジェクション以上の訓練は必要としないと結論付けた。
- 参考スコア(独自算出の注目度): 1.110076438274971
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The Platonic Representation Hypothesis predicts that sufficiently scaled foundation models converge on a shared representation of the world. As each non-converged model gives a noisy view of a common structure when passed the same input, we ask whether we can combine models into a representation that outperforms its individual components. We test this on galaxies: we embed images via a basket of 22 frozen foundation models from eight families, whiten each view, and take a randomised SVD of the embedding concatenation. The resulting 1024-dimensional embedding outperforms every basket member on 19/21 of our tested metrics for physical property and galaxy morphology estimation for HSC, JWST, and DESI Legacy Survey imagery. We find that performance rises with basket size and basket architectural diversity, and that the meta-foundation model's performance transfers across astronomical surveys. We conclude that a useful astronomical foundation model can be assembled from existing generalist models with no training required beyond a single unsupervised projection. By leveraging the community's already-spent work, we save a lot of compute: a fresh pre-train of a comparable single-domain model would cost $\mathcal{O}(10^{4}$--$10^{5})$ A100 GPU hours (emitting several tonnes of CO$_2$eq.), whereas assembling Gestalt requires minutes on a single machine.
- Abstract(参考訳): プラトン表現仮説(Platonic Representation hypothesis)は、十分にスケールされた基礎モデルは世界の共有表現に収束すると予測する。
各収束しないモデルは、同じ入力をパスした場合に共通の構造のノイズの多いビューを与えるので、モデルを個々の成分よりも優れた表現に組み合わせられるかどうかを問う。
私たちはこれを銀河上でテストし、8つのファミリーから22個の凍った基礎モデルのバスケットに埋め込み、それぞれのビューを白くし、埋め込み結合のランダムなSVDを取ります。
その結果, HSC, JWST, DESI レガシーサーベイ画像の物理特性と銀河形態推定の指標の19/21において, 得られた1024次元埋め込みは各バスケット部材よりも優れていた。
我々は、バスケットサイズとバスケットアーキテクチャの多様性によってパフォーマンスが上昇し、メタ境界モデルのパフォーマンスが天文学的な調査全体にわたって伝達されることを発見した。
我々は、既存の一般モデルから有用な天体基盤モデルを構築することができ、単一の教師なしプロジェクション以上の訓練は必要としないと結論付けた。
同等の単一ドメインモデルの新たな事前トレーニングには$\mathcal{O}(10^{4}$-$10^{5})$ A100 GPU時間(CO$2$eq.数トンのCO$2$eq.)が必要になりますが、Gestaltを組み立てるには1台のマシンで数分かかります。
関連論文リスト
- FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations [30.498209688972313]
FAMOSはフィードフォワードモデルであり、部分点雲のスパースで非秩序な集合から可動部分のセグメンテーションと関節パラメータを予測する。
そこで我々は,多状態調音変換器を導入する。
PartNet-Mobility、ACD、ArtiCraft-10Kの実験では、フィードフォワードと最適化ベースラインの両方に対して一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-09-17T17:59:40Z) - Learning Standard Model structure from LHC data with Riemannian flow matching [0.0]
単一変圧器を用いた生成モデルにより,50年に及ぶ不変質量の標準モデル構造を捉えることができることを示す。
このモデルはATLAS Open Data 13TeVリリースから$sim 109$ real $pp$の衝突イベントに基づいて訓練されている。
論文 参考訳(メタデータ) (2026-07-17T17:23:22Z) - A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures [58.26804959656713]
JEPA(Joint-Embedding Predictive Architectures)を用いた表現と世界モデルを学習するためのオープンソースのライブラリであるEB-JEPAを提案する。
JEPAsは、ピクセル空間ではなく表現空間で予測することを学び、生成モデリングの落とし穴を避ける。
これらの表現がどのように行動条件付き世界モデルを駆動し、Two Roomsナビゲーションタスクで97%の計画成功率を達成するかを示す。
論文 参考訳(メタデータ) (2026-02-03T14:56:24Z) - The Platonic Universe: Do Foundation Models See the Same Sky? [0.9143713488498514]
天文学におけるPlatonic Representation hypothesis(PRH)を表現収束の測定により検証した。
我々は、視覚変換器、自己教師付きモデル、天文学特有のアーキテクチャの表現を比較した。
以上の結果から,天文基礎モデルは事前学習された汎用アーキテクチャを利用できることが示唆された。
論文 参考訳(メタデータ) (2025-09-23T18:10:05Z) - LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。
サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
論文 参考訳(メタデータ) (2025-09-03T17:39:08Z) - FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。
我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
論文 参考訳(メタデータ) (2023-12-13T18:28:09Z) - Matcher: Segment Anything with One Shot Using All-Purpose Feature
Matching [63.88319217738223]
市販の視覚基礎モデルを用いて様々な知覚課題に対処する新しい知覚パラダイムであるMatcherを提案する。
Matcherは、様々なセグメンテーションタスクにまたがる印象的な一般化パフォーマンスを、すべてトレーニングなしでデモする。
我々の結果は、野生の画像に適用されたMatcherのオープンワールドの一般性と柔軟性をさらに示すものである。
論文 参考訳(メタデータ) (2023-05-22T17:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。