論文の概要: Sparse Autoencoder Neural Operators: Model Recovery in Function Spaces

• arxiv url: http://arxiv.org/abs/2509.03738v1
• Date: Wed, 03 Sep 2025 21:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:09.983103
• Title: Sparse Autoencoder Neural Operators: Model Recovery in Function Spaces
• Title（参考訳）: スパースオートエンコーダニューラル演算子:関数空間におけるモデル回復
• Authors: Bahareh Tolooshams, Ailsa Shen, Anima Anandkumar,
• Abstract要約: 本研究では,スパースオートエンコーダ(SAE)を昇降空間や無限次元関数空間に拡張し,大規模ニューラル演算子(NO)の機械的解釈性を実現するフレームワークを提案する。 我々は、SAE、リフト-SAE、SAEニューラル演算子の推論とトレーニングのダイナミクスを比較した。 我々は、リフトと演算子モジュールが有益な帰納バイアスを導入し、より高速なリカバリを可能にし、スムーズな概念のリカバリを改善し、様々な解像度にわたる堅牢な推論を可能にした点を強調した。
• 参考スコア（独自算出の注目度）: 75.45093712182624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We frame the problem of unifying representations in neural models as one of sparse model recovery and introduce a framework that extends sparse autoencoders (SAEs) to lifted spaces and infinite-dimensional function spaces, enabling mechanistic interpretability of large neural operators (NO). While the Platonic Representation Hypothesis suggests that neural networks converge to similar representations across architectures, the representational properties of neural operators remain underexplored despite their growing importance in scientific computing. We compare the inference and training dynamics of SAEs, lifted-SAE, and SAE neural operators. We highlight how lifting and operator modules introduce beneficial inductive biases, enabling faster recovery, improved recovery of smooth concepts, and robust inference across varying resolutions, a property unique to neural operators.
• Abstract（参考訳）: 我々は、スパースモデルリカバリの1つとして、ニューラルモデルにおける表現を統一する問題の枠組みを定め、スパースオートエンコーダ(SAE)を昇降空間や無限次元関数空間に拡張するフレームワークを導入し、大きなニューラル演算子(NO)の機械論的解釈を可能にする。 プラトン表現仮説(Platonic Representation hypothesis)は、ニューラルネットワークがアーキテクチャ全体にわたって類似した表現に収束することを示唆するが、ニューラルネットワークの表現特性は、科学計算における重要性が増しているにもかかわらず、未発見のままである。 我々は、SAE、リフト-SAE、SAEニューラル演算子の推論とトレーニングのダイナミクスを比較した。 我々は、リフトと演算子モジュールが有益な帰納バイアスを導入し、より高速なリカバリを可能にし、スムーズな概念のリカバリを改善し、様々な解像度にわたる堅牢な推論を可能にした点を強調した。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• The Cooperative Network Architecture: Learning Structured Networks as Representation of Sensory Patterns [3.9848584845601014]
  協調ネットワークアーキテクチャ(Cooperative Network Architecture, CNA)は,ニューロンの構造的, 繰り返し接続されたネットワークを用いて, 知覚信号を表すモデルである。 我々は、ネットフラグメントを監督なしに学習し、フレキシブルに組み換えることで、新しいパターンをエンコードし、フィギュア補完とノイズに対するレジリエンスを可能にすることを実証した。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• INO: Invariant Neural Operators for Learning Complex Physical Systems with Momentum Conservation [8.218875461185016]
  基本保存法則が自動的に保証される物理モデルを学ぶために,新しい統合ニューラル演算子アーキテクチャを導入する。 応用例として、合成データセットと実験データセットの両方から複雑な物質挙動を学習する際のモデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2022-12-29T16:40:41Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。