Fugu-MT 論文翻訳(概要): What AstroPT knows about galaxies, and what that can teach us about LLMs

論文の概要: What AstroPT knows about galaxies, and what that can teach us about LLMs

arxiv url: http://arxiv.org/abs/2608.22614v1
Date: Sun, 23 Aug 2026 21:40:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:43.802233
Title: What AstroPT knows about galaxies, and what that can teach us about LLMs
Title（参考訳）: AstroPTが銀河について知っていることと、LLMについて教えてくれるもの
Abstract要約: 解釈可能性の研究は、トレーニング中に概念がいつ出現し、線形プローブが実構造を回復するかをますます疑問視している。我々は、何百万もの銀河画像に基づいて訓練された変換器であるAstroPTを用いて、天文学的な地上真実の利用を提案する。
参考スコア（独自算出の注目度）: 2.4906335493319207
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Interpretability research increasingly asks when concepts emerge during training and whether linear probes recover real structure, but in language models these claims are hard to validate because language offers little ground-truth ordering of concepts or relationships among them. We propose the use of astronomical ground truth through AstroPT, a transformer trained on millions of galaxy images, as a calibration testbed. AstroPT is an LLM-like model trained within a domain where the difficulty ordering of concepts and the relations among them are known in advance. Probing frozen representations across checkpoints, layers, model sizes, and objective choices, we find that galaxy properties emerge in a fixed order that tracks their known difficulty---quantities written almost directly into the pixels (band magnitude) become decodable early in training and shallow in the network, while multiband/spectra based and inferred quantities (such as redshift and specific star formation rate) emerge later and deeper. This order is invariant to our tested training objectives, and scales in magnitude but not in sequence with capacity. Our linear probe directions further recover the known physical structure among galaxy properties. Our findings suggest that astronomy offers a controlled sandbox for calibrating mechanistic interpretability methods we otherwise apply to LLMs blind.
Abstract（参考訳）: 解釈可能性の研究は、トレーニング中に概念がいつ出現し、線形プローブが実際の構造を回復するかをますます問うが、言語モデルでは、これらの主張は、言語が概念やそれらの間の関係の基底的な秩序をほとんど提供しないため、検証が難しい。我々は、数百万の銀河画像で訓練された変換器であるAstroPTを校正テストベッドとして利用することを提案する。 AstroPTは、概念の順序付けの難しさとそれらの関係が事前に知られている領域内で訓練されたLLMのようなモデルである。チェックポイント, 層, モデルサイズ, 客観的選択にまたがる凍結した表現を求めると, 銀河の性質が既知の困難を追尾する一定の順序で出現し, ほとんど直接ピクセルに書き込まれた量(バンドサイズ)は、トレーニングの早い段階では減少し、ネットワーク内では浅くなり、マルチバンド/スペクトルベースで推定された量(赤方偏移や特定の星形成速度など)は後々からより深く現れる。この順序は、テスト対象のトレーニングに不変であり、規模はスケールするが、キャパシティと連続しない。我々の線形プローブ方向は、銀河の性質で知られている物理的構造をさらに回復させる。この結果は、天文学が機械的解釈可能性の方法の校正に制御されたサンドボックスを提供することを示唆している。

関連論文リスト

Galactification: painting galaxies onto dark matter only simulations using a transformer-based model [1.0614155147784068]
我々は、安価な暗黒物質のみのシミュレーションで条件付けられたモック銀河カタログを高速に生成するフレームワークを開発した。本稿では、3次元暗黒物質密度と速度場を入力とし、対応する銀河の点雲を出力するマルチモーダル変圧器モデルを提案する。我々は、トレーニングされたモデルが、様々な銀河要約統計を忠実に再現し、基礎となる宇宙学的および天体物理学的パラメータの変化によってそれらの変動を正しく捉えていることを示した。
論文参考訳（メタデータ） (2025-11-11T16:39:47Z)
Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文参考訳（メタデータ） (2025-05-27T16:24:02Z)
Insights on Galaxy Evolution from Interpretable Sparse Feature Networks [0.0]
Sparse Feature Network (SFNet) と呼ばれる新しいニューラルネットワークアーキテクチャを提案する。 SFNetは、光放射線比やガス相金属度などの銀河特性を推定するために線形に結合できる解釈可能な特徴を生成する。 SFNetは解釈可能性を得るために精度を犠牲にせず、天文学的な機械学習タスクにおける最先端モデルと相容れない性能を発揮する。
論文参考訳（メタデータ） (2024-12-30T19:00:00Z)
A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
論文参考訳（メタデータ） (2024-05-28T22:33:02Z)
LtU-ILI: An All-in-One Framework for Implicit Inference in Astrophysics and Cosmology [1.5070941464775514]
本稿では,LtU-ILIパイプライン(Learning the Universe Implicit Likelihood Inference:LtU-ILI)を提案する。これは天体物理学と宇宙論における最先端の機械学習(ML)推論である。天体物理学や宇宙論の諸問題にまたがる実応用を提示する。
論文参考訳（メタデータ） (2024-02-06T19:00:00Z)
SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
論文参考訳（メタデータ） (2024-01-15T20:22:21Z)
Semi-Supervised Domain Adaptation for Cross-Survey Galaxy Morphology Classification and Anomaly Detection [57.85347204640585]
We developed a Universal Domain Adaptation method DeepAstroUDA。異なるタイプのクラスオーバーラップしたデータセットに適用することができる。初めて、我々は2つの非常に異なる観測データセットに対するドメイン適応の有効利用を実演した。
論文参考訳（メタデータ） (2022-11-01T18:07:21Z)
Inferring Structural Parameters of Low-Surface-Brightness-Galaxies with Uncertainty Quantification using Bayesian Neural Networks [70.80563014913676]
ベイズニューラルネットワーク (BNN) を用いて, シミュレーションした低地表面明度銀河画像から, それらのパラメータの不確かさを推測できることを示す。従来のプロファイル適合法と比較して、BNNを用いて得られた不確実性は等しく、よく校正され、パラメータの点推定は真の値に近いことを示す。
論文参考訳（メタデータ） (2022-07-07T17:55:26Z)
Learning cosmology and clustering with cosmic graphs [0.0]
我々は、CAMELSプロジェクトの最先端の流体力学シミュレーションから数千の銀河カタログのディープラーニングモデルを訓練する。まず、GNNが数パーセントの精度で銀河カタログのパワースペクトルを計算することができることを示す。次に、GNNをトレーニングし、銀河場レベルで可能性のない推論を行う。
論文参考訳（メタデータ） (2022-04-28T18:00:02Z)
Morphological Classification of Galaxies in S-PLUS using an Ensemble of Convolutional Networks [0.0]
我々は,Galaxy Zooプロジェクトの正確な視覚分類とemph Deep Learning手法を組み合わせる。ニューラルネットワークモデルは、他の4つの畳み込みモデルのアンサンブルによって作成され、どの個人でも得られるものよりも、分類の精度が高い。
論文参考訳（メタデータ） (2021-07-05T21:51:19Z)
DeepShadows: Separating Low Surface Brightness Galaxies from Artifacts using Deep Learning [70.80563014913676]
本研究では,低地光度銀河と人工物とを分離する問題に対する畳み込みニューラルネットワーク(CNN)の利用について検討する。我々は、CNNが低地光度宇宙の研究に非常に有望な道を提供することを示した。
論文参考訳（メタデータ） (2020-11-24T22:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。