論文の概要: The kernel-balanced equation for deep neural networks

• arxiv url: http://arxiv.org/abs/2309.07367v1
• Date: Thu, 14 Sep 2023 01:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 16:39:58.419401
• Title: The kernel-balanced equation for deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおけるカーネルバランス方程式
• Authors: Kenichi Nakazato
• Abstract要約: 本稿では,データセットの分布推定のためのネットワークについて考察する。 推定は不安定であり、不安定性はデータ密度とトレーニング時間に依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have shown many fruitful applications in this decade. A network can get the generalized function through training with a finite dataset. The degree of generalization is a realization of the proximity scale in the data space. Specifically, the scale is not clear if the dataset is complicated. Here we consider a network for the distribution estimation of the dataset. We show the estimation is unstable and the instability depends on the data density and training duration. We derive the kernel-balanced equation, which gives a short phenomenological description of the solution. The equation tells us the reason for the instability and the mechanism of the scale. The network outputs a local average of the dataset as a prediction and the scale of averaging is determined along the equation. The scale gradually decreases along training and finally results in instability in our case.
• Abstract（参考訳）: 深層ニューラルネットワークは、この10年で多くの実りある応用を示している。 ネットワークは有限データセットによるトレーニングを通じて一般化関数を取得することができる。 一般化の程度は、データ空間における近接スケールの実現である。 具体的には、データセットが複雑かどうかが明確ではない。 本稿では,データセットの分布推定のためのネットワークについて考察する。 推定は不安定であり、不安定性はデータ密度とトレーニング時間に依存する。 カーネルバランス方程式を導出し、解の現象学的記述を短くする。 この方程式は、不安定な理由とスケールのメカニズムを教えてくれる。 ネットワークは、予測としてデータセットの局所平均を出力し、方程式に沿って平均化のスケールを決定する。 トレーニングの規模は徐々に減少し,最終的には不安定に陥る。

関連論文リスト

• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• A Light-weight Interpretable CompositionalNetwork for Nuclei Detection and Weakly-supervised Segmentation [10.196621315018884]
  ディープニューラルネットワークは通常、膨大なパラメータをトレーニングするために大量の注釈付きデータを必要とする。 我々は,特に孤立した核に部分的なアノテーションを必要とするデータ効率モデルを構築することを提案する。
  論文  参考訳（メタデータ） (2021-10-26T16:44:08Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Slope and generalization properties of neural networks [0.0]
  十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。 傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。 本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
  論文  参考訳（メタデータ） (2021-07-03T17:54:27Z)
• Computing the Information Content of Trained Neural Networks [46.34988166338264]
  トレーニングデータよりも重みを持つニューラルネットワークは、まだ一般化しているのだろうか? 本論文では,無限に広がったニューラルネットワークの情報内容に対する整合性推定器と閉形式上界の両方を導出する。
  論文  参考訳（メタデータ） (2021-03-01T14:38:25Z)
• HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks [51.143054943431665]
  本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。 HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。 さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
  論文  参考訳（メタデータ） (2021-02-04T10:00:13Z)
• Rotation Averaging with Attention Graph Neural Networks [4.408728798697341]
  大規模多重回転平均化のためのリアルタイム・ロバストな解法を提案する。 本手法では,ネットワーク設計における重み付け平均化とアテンション機構を用いて,すべての観測結果を用いて,異常値の影響を抑える。 その結果、より速く、より堅牢なネットワークとなり、以前のニューラルアプローチよりも少ないサンプルでトレーニングできる。
  論文  参考訳（メタデータ） (2020-10-14T02:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。