Fugu-MT 論文翻訳(概要): Paths and Ambient Spaces in Neural Loss Landscapes

論文の概要: Paths and Ambient Spaces in Neural Loss Landscapes

arxiv url: http://arxiv.org/abs/2503.03382v1
Date: Wed, 05 Mar 2025 10:57:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-06 15:53:32.549811
Title: Paths and Ambient Spaces in Neural Loss Landscapes
Title（参考訳）: ニューラルロス景観の経路と空間
Authors: Daniel Dold, Julius Kobialka, Nicolai Palm, Emanuel Sommer, David Rügamer, Oliver Dürr,
Abstract要約: ニューラルネットワークのロスランドスケープにロストンネルを埋め込む新しい手法を提案する。これらの損失トンネルの性質の探索は、その長さと構造に関する新たな洞察を与える。次にベイズニューラルネットワークにアプローチを適用し,部分空間推論を改善する。
参考スコア（独自算出の注目度）: 2.18335768381312
License:
Abstract: Understanding the structure of neural network loss surfaces, particularly the emergence of low-loss tunnels, is critical for advancing neural network theory and practice. In this paper, we propose a novel approach to directly embed loss tunnels into the loss landscape of neural networks. Exploring the properties of these loss tunnels offers new insights into their length and structure and sheds light on some common misconceptions. We then apply our approach to Bayesian neural networks, where we improve subspace inference by identifying pitfalls and proposing a more natural prior that better guides the sampling procedure.
Abstract（参考訳）: ニューラルネットワークの損失面の構造、特に低損失トンネルの出現を理解することは、ニューラルネットワーク理論と実践の進展に不可欠である。本稿では,損失トンネルをニューラルネットワークの損失景観に直接埋め込む手法を提案する。これらの損失トンネルの性質の探索は、その長さと構造に関する新たな洞察を与え、いくつかの一般的な誤解に光を当てる。次にベイズニューラルネットワークにアプローチを適用し、落とし穴を識別し、サンプリング手順を改善するためのより自然な事前提案を行うことにより、サブスペース推論を改善する。

関連論文リスト

NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
論文参考訳（メタデータ） (2024-04-24T09:12:04Z)
Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文参考訳（メタデータ） (2023-10-16T02:12:32Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Depth induces scale-averaging in overparameterized linear Bayesian neural networks [20.864082353441685]
ディープベイズニューラルネットワークにおける推論は無限幅極限においてのみ完全に理解される。ここでは,有限深度線形ベイズニューラルネットワークをガウス過程予測器のデータ依存スケール混合として,出力チャネルにわたって解釈する。
論文参考訳（メタデータ） (2021-11-23T15:48:47Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Deep Neural Networks with Short Circuits for Improved Gradient Learning [43.79322478567049]
本稿では,ディープニューラルネットワークの勾配学習を改善するための勾配拡張手法を提案する。提案したショート回路は、深層から浅層への感度を単一のバックで伝搬する一方向接続である。我々の実験では、コンピュータビジョンと自然言語処理の両タスクのベースラインよりも、短い回路でディープニューラルネットワークを実証している。
論文参考訳（メタデータ） (2020-09-23T15:51:37Z)
Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文参考訳（メタデータ） (2020-07-09T13:08:01Z)
Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文参考訳（メタデータ） (2020-05-25T07:23:47Z)
ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文参考訳（メタデータ） (2020-02-18T05:58:24Z)
Barcodes as Summary of Loss Function Topology [65.3479573549873]
ニューラルネットワークの深さと幅の増大は局所的なミニマのバーコード低下を示す。これはニューラルネットワークの学習と一般化特性にいくつかの自然な意味を持つ。
論文参考訳（メタデータ） (2019-11-29T19:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。