論文の概要: A Mechanistic Interpretability Study of an Astronomy Foundation Model
- arxiv url: http://arxiv.org/abs/2611.15653v1
- Date: Wed, 11 Nov 2026 16:03:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.191383
- Title: A Mechanistic Interpretability Study of an Astronomy Foundation Model
- Title(参考訳): 天文学基礎モデルの機械論的解釈可能性に関する研究
- Abstract要約: 本稿では,天文学基盤モデルであるAION-1の赤方偏移予測におけるマルチモーダル優位性に着目した最初の因果論的解釈可能性の研究について述べる。
この利点は、空間的に拡張され、塵が吸収される銀河にとって最大である。
天体物理学的に動機づけられた操作のどれも、このヘッドが何を計算するかを説明するものではありません。
- 参考スコア(独自算出の注目度): 55.329728431017706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models are increasingly used across the sciences, but whether their internal computations correspond to known scientific operations or proceed through different mechanisms remains unclear. Understanding these mechanisms is essential for assessing reliability, identifying failure modes, and learning new science from the models. We present, to our knowledge, the first causal mechanistic interpretability study of an astronomy foundation model, AION-1, focusing on its multimodal advantage in redshift prediction, where combining imaging with photometry outperforms photometry alone. We find that this advantage is largest for spatially extended and dust-attenuated galaxies, and that most of it is localized to the first of the encoder's twelve blocks. Within that block, how well a property is linearly decodable does not predict whether it can be localized. Spatial extent is causally used, and one attention head dominates linear probing for it, yet ablating that head has negligible effect on redshift prediction: the information is distributed across heads and is decodable again one layer after we erase it. Dust attenuation shows the opposite pattern: it is only weakly decodable anywhere in the encoder, yet a single head is necessary for most of the multimodal advantage, particularly for the most dust-attenuated galaxies, and keeping that head as the only active head in its block preserves nearly all of the advantage. None of the astrophysically motivated operations we tested explains what this head computes. Whether this reflects a limitation of current interpretability methods or a computation that does not correspond to any known astrophysical operation remains open, and resolving it is a prerequisite for using interpretability as a tool for scientific discovery.
- Abstract(参考訳): 基礎モデルは科学全体にわたってますます使われているが、内部の計算が既知の科学的操作と一致しているか、あるいは異なるメカニズムを貫くのかは不明のままである。
これらのメカニズムを理解することは、信頼性を評価し、障害モードを特定し、モデルから新しい科学を学ぶために不可欠である。
我々は、我々の知る限り、天文学の基礎モデルであるAION-1の最初の因果力学的解釈可能性の研究を行い、赤方偏移予測におけるマルチモーダルな優位性に注目し、光度計と画像の合成は、光度計よりも優れていることを示した。
この利点は、空間的に拡張され、塵が減衰した銀河にとって最大であり、エンコーダの12ブロックのうちの1ブロックにそのほとんどが局所化されている。
このブロック内では、プロパティがリニアにデオード可能であるかは、それがローカライズできるかどうかを予測できない。
空間的範囲は因果的に利用され、1つの注意頭はそのために線形探索を支配しているが、ヘッドが赤方偏移予測に無視できる効果があることを非難する。
ダスト減衰は反対のパターンを示しており、エンコーダのどこにでも弱く復位可能であるが、特に最も塵を減らした銀河において、ほとんどのマルチモーダル・アドバンテージには単一の頭が必要であり、ブロック内の唯一のアクティブ・ヘッドとしてその頭は、ほぼすべての利点を保っている。
天体物理学的に動機づけられた操作のどれも、このヘッドが何を計算するかを説明するものではありません。
これが現在の解釈可能性の方法の限界を反映しているのか、あるいは既知の天体物理学的な操作に対応していない計算が未解決のままであり、科学的な発見のためのツールとして解釈可能性を利用するための前提条件である。
関連論文リスト
- Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。
本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2026-03-16T17:20:38Z) - Towards Error Centric Intelligence I, Beyond Observational Learning [0.0]
AGIの進歩はデータやスケールよりも理論に限定されていると我々は主張する。
まず、基礎、知識の定義、学習、知性、反事実能力、そしてAGIを作ることから始めます。
我々は、エージェントのアクションの下で、明示的かつ暗黙的なエラーがどのように進化するかについて、問題を3つの質問として再考した。
論文 参考訳(メタデータ) (2025-10-16T20:33:55Z) - Learning the Universe: Learning to Optimize Cosmic Initial Conditions with Non-Differentiable Structure Formation Models [0.22940141855172033]
本稿では,3次元宇宙初期条件を再構築するためのLearning the Universe by Learning to Optimize (LULO)を紹介する。
LULOは、3次元宇宙の初期条件を再構築するための勾配のないフレームワークである。
ダークマターのみの$N$ボディシミュレーションで同定した$M_200mathrmc$halosから初期条件を正確に再構成することで,本手法を実証する。
論文 参考訳(メタデータ) (2025-02-18T19:17:01Z) - Neural Astrophysical Wind Models [0.0]
本研究は, 直交常微分方程式 (ODE) に個々の項として埋め込まれたディープニューラルネットワークが, これらの物理の双方をしっかりと発見できることを示す。
我々は、3つの保存変数を明示的に解決するのではなく、マッハ数に基づく損失関数を最適化し、近分散解に対してペナルティ項を適用する。
この研究は、非線形逆問題に対する機械論的解釈性を備えた有望な発見ツールとしてのニューラルODEの実現性をさらに強調する。
論文 参考訳(メタデータ) (2023-06-20T16:37:57Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-01-12T17:43:38Z) - Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。
地磁気場状態の局所励起による初期状態を考慮する。
局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
論文 参考訳(メタデータ) (2022-07-14T10:05:20Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。
そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
論文 参考訳(メタデータ) (2021-06-22T19:51:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。