論文の概要: On the Symmetries of Deep Learning Models and their Internal
Representations
- arxiv url: http://arxiv.org/abs/2205.14258v1
- Date: Fri, 27 May 2022 22:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-05 02:40:28.983593
- Title: On the Symmetries of Deep Learning Models and their Internal
Representations
- Title(参考訳): 深層学習モデルの対称性とその内部表現について
- Authors: Charles Godfrey, Davis Brown, Tegan Emerson, Henry Kvinge
- Abstract要約: 我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。
我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
- 参考スコア(独自算出の注目度): 1.418465438044804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symmetry has been a fundamental tool in the exploration of a broad range of
complex systems. In machine learning, symmetry has been explored in both models
and data. In this paper we seek to connect the symmetries arising from the
architecture of a family of models with the symmetries of that family's
internal representation of data. We do this by calculating a set of fundamental
symmetry groups, which we call the \emph{intertwiner groups} of the model. Each
of these arises from a particular nonlinear layer of the model and different
nonlinearities result in different symmetry groups. These groups change the
weights of a model in such a way that the underlying function that the model
represents remains constant but the internal representations of data inside the
model may change. We connect intertwiner groups to a model's internal
representations of data through a range of experiments that probe similarities
between hidden states across models with the same architecture. Our work
suggests that the symmetries of a network are propagated into the symmetries in
that network's representation of data, providing us with a better understanding
of how architecture affects the learning and prediction process. Finally, we
speculate that for ReLU networks, the intertwiner groups may provide a
justification for the common practice of concentrating model interpretability
exploration on the activation basis in hidden layers rather than arbitrary
linear combinations thereof.
- Abstract(参考訳): 対称性は、幅広い複雑なシステムの探索において基本的な道具である。
機械学習では、モデルとデータの両方で対称性が研究されている。
本稿では,モデルファミリーのアーキテクチャから生じる対称性と,そのファミリーの内部データ表現の対称性を結びつける。
これはモデルの基本対称性群の集合を計算し、それをモデルの \emph{intertwiner groups} と呼ぶ。
これらはそれぞれ、モデルの特定の非線形層から生じ、異なる非線形性は異なる対称群をもたらす。
これらの群は、モデルが表す基礎関数が一定であるが、モデル内部のデータの内部表現が変化するような方法でモデルの重みを変化させる。
我々は、同じアーキテクチャを持つモデル間の隠れた状態間の類似性を調べる一連の実験を通して、データの内部表現に相互に結合する。
我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆し、アーキテクチャが学習と予測プロセスにどのように影響するかをよりよく理解する。
最後に、ReLUネットワークでは、任意の線形結合ではなく、隠れ層における活性化に基づくモデル解釈可能性探索を集中させる一般的な手法の正当性を推測する。
関連論文リスト
- A Generative Model of Symmetry Transformations [20.988372904406987]
我々は,データ中の対称性を捉えることを目的とした生成モデルを構築し,解釈可能な方法でどの対称性が存在するかを学習するモデルを構築した。
論文 参考訳(メタデータ) (2024-03-04T11:32:18Z) - A Unified Framework to Enforce, Discover, and Promote Symmetry in
Machine Learning [5.582881461692378]
機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
これらのアイデアを、基底関数回帰、動的システム発見、多層パーセプトロン、画像などの空間場に作用するニューラルネットワークなど、幅広い機械学習モデルに適用する方法について説明する。
論文 参考訳(メタデータ) (2023-11-01T01:19:54Z) - Topological Parallax: A Geometric Specification for Deep Perception
Models [0.778001492222129]
本稿では,学習したモデルを参照データセットと比較する理論的・計算ツールとしてトポロジカルパララックスを導入する。
我々の例では、データセットとモデルの間のこの幾何学的類似性は、信頼性と摂動に不可欠である。
この新しい概念は、ディープラーニングの応用における過度な適合と一般化の間の不明瞭な関係について、現在の議論に価値をもたらすだろう。
論文 参考訳(メタデータ) (2023-06-20T18:45:24Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳(メタデータ) (2023-01-13T16:25:25Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳(メタデータ) (2022-11-07T14:52:58Z) - LieGG: Studying Learned Lie Group Generators [1.5293427903448025]
ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
論文 参考訳(メタデータ) (2022-10-09T20:42:37Z) - The Geometry of Self-supervised Learning Models and its Impact on
Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。
本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文 参考訳(メタデータ) (2022-09-18T18:15:38Z) - Equivariant Representation Learning via Class-Pose Decomposition [17.032782230538388]
データの対称性に同値な表現を学習するための一般的な方法を提案する。
コンポーネントは、それぞれ固有のデータクラスとポーズに意味的に対応します。
その結果,表現はデータの幾何を捉え,他の同変表現学習フレームワークよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-07-07T06:55:52Z) - Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。
テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。
我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
論文 参考訳(メタデータ) (2022-05-24T23:43:02Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳(メタデータ) (2021-02-22T19:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。