論文の概要: Identifiability of Deep Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2506.17093v1
• Date: Fri, 20 Jun 2025 15:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.520149
• Title: Identifiability of Deep Polynomial Neural Networks
• Title（参考訳）: 深部多項式ニューラルネットの同定可能性
• Authors: Konstantin Usevich, Clara Dérand, Ricardo Borsoi, Marianne Clausel,
• Abstract要約: 多項式ニューラルネットワーク (Polynomial Neural Networks, PNN) は代数的および幾何学的構造を持つ。 彼らの識別可能性 -- 解釈可能性を保証するための重要な特性 -- は、いまだに理解されていない。 本稿では,深部PNNの識別可能性に関する包括的分析を行う。
• 参考スコア（独自算出の注目度）: 2.747263800047993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Polynomial Neural Networks (PNNs) possess a rich algebraic and geometric structure. However, their identifiability -- a key property for ensuring interpretability -- remains poorly understood. In this work, we present a comprehensive analysis of the identifiability of deep PNNs, including architectures with and without bias terms. Our results reveal an intricate interplay between activation degrees and layer widths in achieving identifiability. As special cases, we show that architectures with non-increasing layer widths are generically identifiable under mild conditions, while encoder-decoder networks are identifiable when the decoder widths do not grow too rapidly. Our proofs are constructive and center on a connection between deep PNNs and low-rank tensor decompositions, and Kruskal-type uniqueness theorems. This yields both generic conditions determined by the architecture, and effective conditions that depend on the network's parameters. We also settle an open conjecture on the expected dimension of PNN's neurovarieties, and provide new bounds on the activation degrees required for it to reach its maximum.
• Abstract（参考訳）: 多項式ニューラルネットワーク (Polynomial Neural Networks, PNN) は代数的および幾何学的構造を持つ。 しかし、その識別可能性(解釈可能性を保証する鍵となる性質)はいまだに理解されていない。 本研究では, 偏りのないアーキテクチャを含む深層PNNの識別可能性に関する包括的分析を行う。 以上の結果から,活性化度と層幅との複雑な相互作用が明らかとなった。 特殊な場合として,非増加層幅のアーキテクチャは穏やかな条件下で汎用的に識別可能であるのに対し,デコーダ幅が急激でなければエンコーダ・デコーダネットワークは識別可能であることを示す。 我々の証明は構成的であり、深部PNNと低ランクテンソル分解とクルスカル型一意性定理との接続に集中している。 これにより、アーキテクチャによって決定される一般的な条件と、ネットワークのパラメータに依存する効果的な条件の両方が得られる。 また、PNNのニューロ多様体の期待次元に関するオープンな予想を定め、その最大値に達するのに必要なアクティベーション度に関する新たな限界を提供する。

関連論文リスト

• Information-Theoretic Generalization Bounds for Deep Neural Networks [20.015357820733406]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Model-Agnostic Reachability Analysis on Deep Neural Networks [25.54542656637704]
  我々はDeepAgnと呼ばれるモデルに依存しない検証フレームワークを開発した。 FNN、リカレントニューラルネットワーク(RNN)、あるいは両者の混合に適用することができる。 レイヤやパラメータといったネットワークの内部構造にアクセスする必要はない。
  論文  参考訳（メタデータ） (2023-04-03T09:01:59Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。