論文の概要: Injectivity of ReLU-layers: Perspectives from Frame Theory

• arxiv url: http://arxiv.org/abs/2406.15856v1
• Date: Sat, 22 Jun 2024 14:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:15:22.607106
• Title: Injectivity of ReLU-layers: Perspectives from Frame Theory
• Title（参考訳）: ReLU層のインジェクティビティ:フレーム理論からの展望
• Authors: Daniel Haider, Martin Ehler, Peter Balazs,
• Abstract要約: インジェクティビティ(英: Injectivity)とは、情報を失うことなく、その出力から任意の入力を再構成できるマッピングの定義特性である。 本稿では,この問題にアプローチするためのフレーム理論的視点を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Injectivity is the defining property of a mapping that ensures no information is lost and any input can be perfectly reconstructed from its output. By performing hard thresholding, the ReLU function naturally interferes with this property, making the injectivity analysis of ReLU-layers in neural networks a challenging yet intriguing task that has not yet been fully solved. This article establishes a frame theoretic perspective to approach this problem. The main objective is to develop the most general characterization of the injectivity behavior of ReLU-layers in terms of all three involved ingredients: (i) the weights, (ii) the bias, and (iii) the domain where the data is drawn from. Maintaining a focus on practical applications, we limit our attention to bounded domains and present two methods for numerically approximating a maximal bias for given weights and data domains. These methods provide sufficient conditions for the injectivity of a ReLU-layer on those domains and yield a novel practical methodology for studying the information loss in ReLU layers. Finally, we derive explicit reconstruction formulas based on the duality concept from frame theory.
• Abstract（参考訳）: インジェクティビティ(英: Injectivity)とは、情報を失うことなく、その出力からあらゆる入力を完全に再構成できるマッピングの定義特性である。 ハードしきい値を設定することで、ReLU関数は自然にこの性質を阻害し、ニューラルネットワークにおけるReLU層のインジェクティビティ解析を、まだ完全に解決されていない挑戦的かつ興味深いタスクにする。 本稿では,この問題にアプローチするためのフレーム理論的視点を確立する。 主な目的は、ReLU層の注入挙動の最も一般的な特徴を、これら3つの成分のすべての観点から明らかにすることである。 重量; 重量; 重量; 重量 (二)偏見、及び 三 データが引き出される領域 実用的応用に焦点を合わせながら、我々は有界領域への注意を制限し、与えられた重みとデータ領域に対する最大バイアスを数値的に近似する2つの方法を提案する。 これらの手法はこれらの領域におけるReLU層の注入性について十分な条件を提供し、ReLU層の情報損失を研究するための新しい実践的手法を提供する。 最後に、フレーム理論から双対性の概念に基づく明示的な再構成公式を導出する。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Intrinsic Image Decomposition via Ordinal Shading [0.0]
  内在的分解は、逆レンダリングや計算写真パイプラインにおいて重要な役割を果たす基本的な中間レベルの視覚問題である。 シフト・スケール不変の損失を用いた高密度オーディナルシェーディング定式化を行い、オーディナルシェーディングキューを推定する。 次に、第2のネットワークを用いた低分解能および高分解能の順序推定を組み合わせ、大域的コヒーレンシーと局所的詳細の両方でシェーディング推定を生成する。
  論文  参考訳（メタデータ） (2023-11-21T18:58:01Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Existence, uniqueness, and convergence rates for gradient flows in the training of artificial neural networks with ReLU activation [2.4087148947930634]
  勾配降下(GD)型最適化スキームによる整流線形単位(ReLU)アクティベーションを用いた人工ニューラルネットワーク(ANN)のトレーニングは、今日では産業的にも一般的な方法である。 科学文献では、ReLUアクティベーションを伴うANNのトレーニングにおいて、GD型スキームの数値的な成功を説明する数学的収束解析は一般的に存在しない。
  論文  参考訳（メタデータ） (2021-08-18T12:06:19Z)
• Phase Transitions, Distance Functions, and Implicit Neural Representations [26.633795221150475]
  Inlicit Neural Representations (INRs) は幾何学的深層学習と3次元視覚において多くの下流の応用に役立っている。 ログ変換は距離関数に収束する一方、適切な占有関数に収束する密度関数を学習するINRの訓練における損失を提案する。
  論文  参考訳（メタデータ） (2021-06-14T18:13:45Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。