論文の概要: Group Crosscoders for Mechanistic Analysis of Symmetry

• arxiv url: http://arxiv.org/abs/2410.24184v2
• Date: Fri, 01 Nov 2024 03:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:34:01.994699
• Title: Group Crosscoders for Mechanistic Analysis of Symmetry
• Title（参考訳）: 対称性の力学解析のための群クロスコーダ
• Authors: Liv Gorton,
• Abstract要約: 群クロスコーダは、ニューラルネットワークの対称的特徴を体系的に発見し、分析する。 グループクロスコーダは、ニューラルネットワークが対称性を表現する方法に関する体系的な洞察を与えることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce group crosscoders, an extension of crosscoders that systematically discover and analyse symmetrical features in neural networks. While neural networks often develop equivariant representations without explicit architectural constraints, understanding these emergent symmetries has traditionally relied on manual analysis. Group crosscoders automate this process by performing dictionary learning across transformed versions of inputs under a symmetry group. Applied to InceptionV1's mixed3b layer using the dihedral group $\mathrm{D}_{32}$, our method reveals several key insights: First, it naturally clusters features into interpretable families that correspond to previously hypothesised feature types, providing more precise separation than standard sparse autoencoders. Second, our transform block analysis enables the automatic characterisation of feature symmetries, revealing how different geometric features (such as curves versus lines) exhibit distinct patterns of invariance and equivariance. These results demonstrate that group crosscoders can provide systematic insights into how neural networks represent symmetry, offering a promising new tool for mechanistic interpretability.
• Abstract（参考訳）: ニューラルネットワークの対称的特徴を体系的に発見・解析するクロスコーダの拡張であるグループクロスコーダを導入する。 ニューラルネットワークはしばしば、明示的なアーキテクチャ制約なしに同変表現を発達させるが、これらの創発的対称性を理解することは、伝統的に手作業による分析に依存してきた。 グループのクロスコーダは、対称群の下で変換された入力のバージョン間で辞書学習を行うことで、このプロセスを自動化する。 InceptionV1 の mixed3b 層に dihedral group $\mathrm{D}_{32}$ を用いて適用すると、いくつかの重要な洞察が得られている。 第2に, この変換ブロック解析により特徴対称性の自動的特徴付けが可能となり, 異なる幾何学的特徴(曲線対線など)が相違・相同性の異なるパターンをいかに示すかを明らかにする。 これらの結果は、群クロスコーダが、ニューラルネットワークが対称性をどのように表現するかについての体系的な洞察を与え、機械的解釈可能性のための有望な新しいツールを提供することを示した。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Symmetry From Scratch: Group Equivariance as a Supervised Learning Task [1.8570740863168362]
  対称性を持つ機械学習データセットにおいて、対称性の破れとの後方互換性のパラダイムは、同変のアーキテクチャ制約を緩和することであった。 機械学習モデルにおける同値化を誘導する手法である対称性閉包を導入する。
  論文  参考訳（メタデータ） (2024-10-05T00:44:09Z)
• Stochastic Neural Network Symmetrisation in Markov Categories [2.0668277618112203]
  我々は、群準同型に沿ってニューラルネットワークをシンメトリする問題を考察する。 シンメシエーションのためのフレキシブルで構成的で汎用的なフレームワークを得る。
  論文  参考訳（メタデータ） (2024-06-17T17:54:42Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Learning Lie Group Symmetry Transformations with Neural Networks [17.49001206996365]
  この研究は、データセットに存在する未知の対称性、すなわちリー群対称性変換の発見と特徴付けに焦点を当てている。 私たちのゴールは、変換グループとパラメータ値の分布を特徴づけることです。 その結果、どちらの設定でもアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-07-04T09:23:24Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• On the Symmetries of Deep Learning Models and their Internal Representations [1.418465438044804]
  我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。 我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
  論文  参考訳（メタデータ） (2022-05-27T22:29:08Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Detecting Symmetries with Neural Networks [0.0]
  ニューラルネットワークの埋め込み層における構造を広範囲に活用する。 我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。 この例では、グラフの観点で新しいデータ表現を示す。
  論文  参考訳（メタデータ） (2020-03-30T17:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。