Fugu-MT 論文翻訳(概要): Trainable at Depth, Solvable at Small Size: What the Loss Surface of a Polynomial Activation Dictates for Designing, Initializing and Training Networks

論文の概要: Trainable at Depth, Solvable at Small Size: What the Loss Surface of a Polynomial Activation Dictates for Designing, Initializing and Training Networks

arxiv url: http://arxiv.org/abs/2610.20069v1
Date: Wed, 14 Oct 2026 12:07:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:16.134186
Title: Trainable at Depth, Solvable at Small Size: What the Loss Surface of a Polynomial Activation Dictates for Designing, Initializing and Training Networks
Title（参考訳）: 深度でトレーニング可能, 小型で解決可能: ネットワークの設計, 初期化, トレーニングのためのポリノミアル活性化ディクターの損失面
Abstract要約: どちらも2つのスケールで1つの構成で答える: a activation f (z) = z + z 3。奥深くでは機械のない100層にMNISTを訓練し、小さなモデルでは正方形の損失は私たちが正確に解決するシステムです。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: What makes a deep network train, and what shape is its loss surface? We answer both with one construction at two scales: a polynomial activation f (z) = z + λz 3 , clamped and projected onto the unit sphere, plus an unnormalized identity path. As a deep stack it trains to one hundred layers on MNIST with no normalization machinery; as a small model its square loss is a polynomial system we solve exactly. The small scale explains the large one: it prescribes how to design, initialize and train the stack.
Abstract（参考訳）: ディープ・ネットワーク・トレインを作る理由は何で、その損失面はどんな形なのか? 多項式活性化 f (z) = z + λz 3 であり、単位球面に挟まれて射影され、非正規化された恒等パスである。深いスタックとして、正規化機構のないMNIST上の100層に訓練し、小さなモデルでは正方形損失は多項式系である。スタックの設計、初期化、トレーニングの方法を規定しています。

関連論文リスト

Low-dimensional topology of deep neural networks [2.396810202210905]
フィードフォワードネットワーク、ResNet、トランスフォーマーを含む層モデルについて、各層を$d = 3$の幅に制限することで検討する。これにより、ニューラルネットワークがその層を通して低次元の位相不変量をどのように変化させるかを追跡することができる。
論文参考訳（メタデータ） (2026-06-30T15:53:11Z)
Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文参考訳（メタデータ） (2024-05-27T18:15:05Z)
Neural Kernel Surface Reconstruction [80.51581494300423]
本稿では,大規模でスパースでノイズの多い点雲から3次元暗示面を再構成する新しい手法を提案する。我々のアプローチは、最近導入されたNeural Kernel Fields表現に基づいている。
論文参考訳（メタデータ） (2023-05-31T06:25:18Z)
Deep ReLU Networks Have Surprisingly Simple Polytopes [30.417072051872726]
ReLUネットワークはポリトープ上の一括線形関数である。ポリトープの形状をポリトープの顔数を用いて検討する。ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
論文参考訳（メタデータ） (2023-05-16T03:51:34Z)
Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
論文参考訳（メタデータ） (2023-04-03T15:18:16Z)
Triangular Dropout: Variable Network Width without Retraining [4.111899441919165]
レイヤ幅は、ネットワークが学習し、ソリューションの複雑さを決定する能力に影響を与える。我々は、この制限を持たない三角形のドロップアウトと呼ばれる新しい層設計を提案する。トレーニング後、層幅を任意に減らし、狭さのために性能を交換することができる。
論文参考訳（メタデータ） (2022-05-02T21:58:16Z)
A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文参考訳（メタデータ） (2021-01-18T15:40:27Z)
Hierarchical Recurrent Attention Networks for Structured Online Maps [91.28820076955128]
疎い3次元点雲からのオンライン道路網抽出の問題に対処する。この手法はannotatorがレーングラフを構築する方法に触発され、まず何レーンあるかを特定し、順番に各レーンを描画する。我々は,レーン境界の初期領域に順応する階層的リカレントネットワークを開発し,構造化ポリラインを出力することにより,それらを完全にトレースする。
論文参考訳（メタデータ） (2020-12-22T19:35:53Z)
Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
論文参考訳（メタデータ） (2020-11-03T02:57:01Z)
Monocular Depth Estimation Using Multi Scale Neural Network And Feature Fusion [0.0]
ネットワークは2つの異なるブロックを使用し、まず、各特徴マップの畳み込みとマージに異なるフィルタサイズを使用する。第2ブロックは、完全に連結された層の代わりに拡張畳み込みを使用し、計算を減らし、受容場を増大させる。我々は、RMSE損失とSILog損失からなる深さ推定のための標準評価指標を用いて、Make 3Dデータセット、NYU Depth V2データセット、Kittiデータセットでネットワークをトレーニングし、テストする。
論文参考訳（メタデータ） (2020-09-11T18:08:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。