論文の概要: Feature Chirality in Deep Learning Models
- arxiv url: http://arxiv.org/abs/2305.03966v1
- Date: Sat, 6 May 2023 07:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 18:26:57.974283
- Title: Feature Chirality in Deep Learning Models
- Title（参考訳）: ディープラーニングモデルにおける特徴キラリティ
- Authors: Shipeng Ji, Yang Li, Ruizhi Fu, Jiabao Wang, Zhuang Miao
- Abstract要約: 本研究では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。
我々の研究は、特徴キラリティがモデル評価、モデルの解釈可能性、モデルパラメータの最適化を意味することを示している。
- 参考スコア（独自算出の注目度）: 7.402957682300806
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As deep learning applications extensively increase by leaps and bounds, their
interpretability has become increasingly prominent. As a universal property,
chirality exists widely in nature, and applying it to the explanatory research
of deep learning may be helpful to some extent. Inspired by a recent study that
used CNN (convolutional neural network), which applied visual chirality, to
distinguish whether an image is flipped or not. In this paper, we study feature
chirality innovatively, which shows how the statistics of deep learning models'
feature data are changed by training. We rethink the feature-level chirality
property, propose the feature chirality, and give the measure. Our analysis of
feature chirality on AlexNet, VGG, and ResNet reveals similar but surprising
results, including the prevalence of feature chirality in these models, the
initialization methods of the models do not affect feature chirality. Our work
shows that feature chirality implies model evaluation, interpretability of the
model, and model parameters optimization.
- Abstract（参考訳）: ディープラーニングのアプリケーションが飛躍と限界によって広範囲に増加するにつれ、その解釈性はますます顕著になっている。
普遍的な性質として、キラリティーは自然界に広く存在し、深層学習の解説研究に応用することはある程度有用である。
cnn(convolutional neural network、畳み込みニューラルネットワーク)を使った最近の研究に触発されて、画像が反転しているかどうかを識別した。
本稿では,ディープラーニングモデルの特徴データの統計が,学習によってどのように変化するかを示す,特徴キラリティを革新的に研究する。
我々は,特徴レベルのキラリティー特性を再考し,特徴キラリティーを提案し,その尺度を与える。
alexnet、vgg、resnetにおける特徴キラリティーの分析により、類似するが驚くべき結果が得られた。これらのモデルにおける特徴キラリティーの出現を含め、モデルの初期化法は特徴キラリティーには影響を与えない。
本研究は,特徴キラリティーがモデル評価,モデルの解釈可能性,モデルパラメータの最適化を含むことを示す。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。
これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。
自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
論文 参考訳（メタデータ） (2023-10-25T04:22:40Z) - On the Foundations of Shortcut Learning [20.53986437152018]
予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。
線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
論文 参考訳（メタデータ） (2023-10-24T22:54:05Z) - Mechanism of feature learning in deep fully connected networks and
kernel machines that recursively learn features [15.29093374895364]
我々は,ニューラルネットワークが勾配特徴を学習するメカニズムを同定し,特徴付ける。
私たちのアンザッツは、突発的な特徴の出現や単純さのバイアスなど、さまざまな深層学習現象に光を当てています。
この特徴学習機構の有効性を実証するため,古典的非機能学習モデルにおいて特徴学習を可能にする。
論文 参考訳（メタデータ） (2022-12-28T15:50:58Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Provable Benefits of Overparameterization in Model Compression: From
Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。
本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。
もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文 参考訳（メタデータ） (2020-12-16T05:13:30Z) - Gradients as Features for Deep Representation Learning [26.996104074384263]
本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。
我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。
我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-04-12T02:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。