Fugu-MT 論文翻訳(概要): Interpreting and Disentangling Feature Components of Various Complexity from DNNs

論文の概要: Interpreting and Disentangling Feature Components of Various Complexity from DNNs

arxiv url: http://arxiv.org/abs/2006.15920v1
Date: Mon, 29 Jun 2020 10:24:27 GMT
ステータス: 処理完了
システム内更新日: 2022-11-15 13:11:04.935135
Title: Interpreting and Disentangling Feature Components of Various Complexity from DNNs
Title（参考訳）: DNNから多種多種多様な特徴成分の解釈と解離
Authors: Jie Ren, Mingjie Li, Zexu Liu, Quanshi Zhang
Abstract要約: 本稿では,DNNが学習した特徴量の定義,定量化,解析を目的とする。汎用的な数学的ツールとして、ネットワーク圧縮と知識蒸留の成功を分析するために、特徴複雑性と提案された指標を用いることもできる。
参考スコア（独自算出の注目度）: 29.47779677347254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation.
Abstract（参考訳）: 本稿では,DNNが学習した特徴量の定義,定量化,解析を目的とする。特徴複雑性の一般的な定義を提案する。 DNNの特定の層の特徴を考えると、我々のメソッドは機能から異なる複雑さの要素を分離する。さらに、信頼性、有効性、およびこれらの機能コンポーネントの過剰フィッティングの重要性を評価するためのメトリクスセットも設計する。さらに,特徴量とDNNの性能の密接な関係を見出すことができた。汎用的な数学的ツールとして、ネットワーク圧縮と知識蒸留の成功を分析するために、機能複雑性と提案メトリクスを用いることもできる。

関連論文リスト

Feature Network Methods in Machine Learning and Applications [0.0]
機械学習(ML)機能ネットワーク(英: machine learning feature network)は、機械学習タスクにおけるML機能を、その類似性に基づいて接続するグラフである。本稿では,機能クラスタリングとフィードフォワード学習によって階層的な接続が形成される,深い木構造特徴ネットワークの例を示す。
論文参考訳（メタデータ） (2024-01-10T01:57:12Z)
Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。これらの特徴は特定の変換の下で等価な出力を生成する。反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-10T16:27:12Z)
Balancing Explainability-Accuracy of Complex Models [8.402048778245165]
我々は,コリレーションの影響に基づき,複雑なモデルに対する新しいアプローチを提案する。独立機能と依存機能の両方のシナリオに対するアプローチを提案する。従属特徴に対する提案手法の複雑さの上限を提供する。
論文参考訳（メタデータ） (2023-05-23T14:20:38Z)
Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文参考訳（メタデータ） (2023-05-22T13:39:44Z)
Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文参考訳（メタデータ） (2023-04-13T16:58:21Z)
Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文参考訳（メタデータ） (2022-09-22T11:19:45Z)
On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文参考訳（メタデータ） (2022-06-21T09:42:30Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Better Feature Integration for Named Entity Recognition [30.676768644145]
両タイプの機能をSynergized-LSTM(Syn-LSTM)に組み込むためのシンプルで堅牢なソリューションを提案する。その結果、提案モデルが従来のアプローチよりも優れたパフォーマンスを実現し、パラメータを少なくできることが示された。
論文参考訳（メタデータ） (2021-04-12T09:55:06Z)
Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。