論文の概要: Finding and using interpretable latents in a neutrino foundation model with sparse autoencoders

• arxiv url: http://arxiv.org/abs/2608.26090v1
• Date: Wed, 26 Aug 2026 17:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:16.014328
• Title: Finding and using interpretable latents in a neutrino foundation model with sparse autoencoders
• Title（参考訳）: スパースオートエンコーダを用いたニュートリノ基礎モデルにおける解釈潜在物質の検出と利用
• Abstract要約: 本稿では,スパースオートエンコーダを用いた機械論的解釈の素粒子物理への応用について述べる。 アイスキューブデータに基づくニュートリノ基礎モデルについて検討し,方向復元のための微調整を行った。 この未使用の情報に触発され、同じ事象レベル表現上の不確実性ヘッドを訓練し、モデルの角度再構成誤差を予測する。
• 参考スコア（独自算出の注目度）: 3.3461260868741527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a first application of sparse-autoencoder-based mechanistic interpretability to particle physics. Studying a neutrino foundation model pretrained on IceCube data and fine-tuned for direction reconstruction, we identify a validated atlas of physical concepts in the model representation, using a strict validation protocol consisting of held-out tests, matched nuisance controls, and replication across independent dictionary trainings. Causal interventions show that the direction head barely draws on this atlas. Motivated by this underused information, we train an uncertainty head on the same event-level representation to predict the model's angular reconstruction error. Unlike the direction head, it depends causally on quality and brightness features from the atlas. At $20\%$ selection efficiency, this interpretable estimator improves the median angular resolution from $20.2^\circ$ to $3.2^\circ$. These results suggest that mechanistic interpretability can reveal learned latent physics encoded within a model's internal representation and help design downstream tasks that exploit it.
• Abstract（参考訳）: 本稿では,スパースオートエンコーダを用いた機械論的解釈の素粒子物理への応用について述べる。 アイスキューブのデータに基づいて事前訓練されたニュートリノ基礎モデルと方向再構成のための微調整を行い,本モデル表現における物理概念の実証されたアトラスを,保持試験,一致したニュアンス制御,独立辞書学習間の複製からなる厳密な検証プロトコルを用いて同定した。 因果的介入は、方向頭部がこのアトラスをほとんど引き起こさないことを示している。 この未使用の情報に触発され、同じ事象レベル表現上の不確実性ヘッドを訓練し、モデルの角度再構成誤差を予測する。 方向のヘッドと異なり、アトラスの質や明るさに大きく依存する。 20\%の選択効率で、この解釈可能な推定器は、中央の角分解能を20.2^\circ$から3.2^\circ$に改善する。 これらの結果は、モデルの内部表現内に符号化された学習された潜在物理学が機械的解釈可能性を明らかにし、それを利用する下流タスクの設計を支援することを示唆している。

関連論文リスト

• Dissecting Jet-Tagger Through Mechanistic Interpretability [0.0]
  我々はTop Quark Tagging参照データセットに基づいてトレーニングされたParticle Transformerアーキテクチャの機械論的解釈可能性解析を行う。 ジェットの分類と内部表現の物理的内容の特徴付けに責任がある計算回路を同定する。
  論文  参考訳（メタデータ） (2026-05-11T02:11:47Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
  我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。 まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。 そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2026-03-08T01:06:07Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
  モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。 回帰,分類,特徴選択タスクの数値実験を行った。 その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
  論文  参考訳（メタデータ） (2023-07-11T09:54:30Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。