論文の概要: On the Symmetries of Deep Learning Models and their Internal Representations

• arxiv url: http://arxiv.org/abs/2205.14258v5
• Date: Fri, 24 Mar 2023 17:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 18:50:53.755449
• Title: On the Symmetries of Deep Learning Models and their Internal Representations
• Title（参考訳）: 深層学習モデルの対称性とその内部表現について
• Authors: Charles Godfrey, Davis Brown, Tegan Emerson, Henry Kvinge
• Abstract要約: 我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。 我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
• 参考スコア（独自算出の注目度）: 1.418465438044804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symmetry is a fundamental tool in the exploration of a broad range of complex systems. In machine learning symmetry has been explored in both models and data. In this paper we seek to connect the symmetries arising from the architecture of a family of models with the symmetries of that family's internal representation of data. We do this by calculating a set of fundamental symmetry groups, which we call the intertwiner groups of the model. We connect intertwiner groups to a model's internal representations of data through a range of experiments that probe similarities between hidden states across models with the same architecture. Our work suggests that the symmetries of a network are propagated into the symmetries in that network's representation of data, providing us with a better understanding of how architecture affects the learning and prediction process. Finally, we speculate that for ReLU networks, the intertwiner groups may provide a justification for the common practice of concentrating model interpretability exploration on the activation basis in hidden layers rather than arbitrary linear combinations thereof.
• Abstract（参考訳）: 対称性は、幅広い複雑なシステムの探索における基本的な道具である。 機械学習の対称性はモデルとデータの両方で研究されている。 本稿では,モデルファミリーのアーキテクチャから生じる対称性と,そのファミリーの内部データ表現の対称性を結びつける。 これを基本対称群の集合を計算し、モデルのインターツウィナー群(英語版)と呼ぶ。 我々は、同じアーキテクチャを持つモデル間の隠れた状態間の類似性を調べる一連の実験を通して、データの内部表現に相互に結合する。 我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆し、アーキテクチャが学習と予測プロセスにどのように影響するかをよりよく理解する。 最後に、ReLUネットワークでは、任意の線形結合ではなく、隠れ層における活性化に基づくモデル解釈可能性探索を集中させる一般的な手法の正当性を推測する。

関連論文リスト

• Group Crosscoders for Mechanistic Analysis of Symmetry [0.0]
  群クロスコーダは、ニューラルネットワークの対称的特徴を体系的に発見し、分析する。 グループクロスコーダは、ニューラルネットワークが対称性を表現する方法に関する体系的な洞察を与えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:47:01Z)
• Symmetry From Scratch: Group Equivariance as a Supervised Learning Task [1.8570740863168362]
  対称性を持つ機械学習データセットにおいて、対称性の破れとの後方互換性のパラダイムは、同変のアーキテクチャ制約を緩和することであった。 機械学習モデルにおける同値化を誘導する手法である対称性閉包を導入する。
  論文  参考訳（メタデータ） (2024-10-05T00:44:09Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• A Generative Model of Symmetry Transformations [44.87295754993983]
  我々はデータの近似対称性を明示的に捉えることを目的とした生成モデルを構築した。 我々は、アフィンおよび色変換の下で対称性を捕捉する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2024-03-04T11:32:18Z)
• A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning [5.1105250336911405]
  機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。 対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。 本稿では、リー微分と核ノルム緩和に基づく凸正規化関数のクラスを導入することで対称性を促進する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-01T01:19:54Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Equivariant Representation Learning via Class-Pose Decomposition [17.032782230538388]
  データの対称性に同値な表現を学習するための一般的な方法を提案する。 コンポーネントは、それぞれ固有のデータクラスとポーズに意味的に対応します。 その結果,表現はデータの幾何を捉え,他の同変表現学習フレームワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-07T06:55:52Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。