Fugu-MT 論文翻訳(概要): Optimal Learning Rate Scaling Depends on Data in Deep Scalar Linear Networks

論文の概要: Optimal Learning Rate Scaling Depends on Data in Deep Scalar Linear Networks

arxiv url: http://arxiv.org/abs/2607.07884v1
Date: Wed, 08 Jul 2026 19:39:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.330106
Title: Optimal Learning Rate Scaling Depends on Data in Deep Scalar Linear Networks
Title（参考訳）: ディープスカラー線形ネットワークにおけるデータに依存する学習速度の最適スケーリング
Abstract要約: 最適な深度学習率のスケーリングはデータに依存するが、データに依存しないスケーリングルールは深度をまたぐ転送に失敗する。データ依存の最適スケーリングの下では、学習力学はデータとは独立であり、深さに弱依存する。
参考スコア（独自算出の注目度）: 12.313766221096207
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this short note we consider the gradient descent dynamics of deep scalar linear networks, $f(x) = \prod_{l=1}^L w_l x$, which enjoy exact time-course solutions for any integer depth. We show that even in this minimal model, the optimal depth-wise learning rate scaling depends on data, whereas data-agnostic scaling rules fail to transfer across depths. Under the data-dependent optimal scaling, the learning dynamics is independent of data and weakly dependent on depth, resulting in a constant linear convergence rate across all depths including infinity. We further show similar data-dependent effects in deep scalar linear networks with residual connections.
Abstract（参考訳）: ここでは、深いスカラー線形ネットワークの勾配勾配勾配ダイナミクス、$f(x) = \prod_{l=1}^L w_l x$を考える。この最小モデルでさえ、最適な深度学習率のスケーリングはデータに依存するが、データに依存しないスケーリングルールは深度をまたぐ転送に失敗する。データ依存の最適スケーリングの下では、学習力学はデータとは独立であり、深さに弱依存する。さらに, 残差接続を有する深層スカラー線形ネットワークにおいて, 同様のデータ依存効果を示す。

関連論文リスト

Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer [40.40780546513363]
我々は,枝を1/sqrttextdepth$にスケールした場合に無限の深さ制限を可能にする非残留ニューラルネットワークと残留ニューラルネットワークの両方について記述する。本モデルでは, 電力法構造データに対する高速化された電力法則トレーニングのダイナミクスを, 最近の研究で観測されたリッチな状態下で回復することを示す。
論文参考訳（メタデータ） (2025-02-04T17:50:55Z)
The kernel-balanced equation for deep neural networks [0.0]
本稿では,データセットの分布推定のためのネットワークについて考察する。推定は不安定であり、不安定性はデータ密度とトレーニング時間に依存する。
論文参考訳（メタデータ） (2023-09-14T01:00:05Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Deep Double Descent via Smooth Interpolation [2.141079906482723]
我々は、各トレーニングポイントに局所的な入力変数に対する損失ランドスケープw.r.t.を研究することにより、トレーニングデータの適合性の鋭さを定量化する。以上の結果から,入力空間における損失のシャープネスは,モデル・アンド・エポシカルな2重降下に追随することが明らかとなった。小さな補間モデルはクリーンデータとノイズデータの両方に強く適合するが、大きな補間モデルは既存の直観とは対照的にスムーズなロスランドスケープを表現している。
論文参考訳（メタデータ） (2022-09-21T02:46:13Z)
Contrasting random and learned features in deep Bayesian linear regression [12.234742322758418]
本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
論文参考訳（メタデータ） (2022-03-01T15:51:29Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
Direct Depth Learning Network for Stereo Matching [79.3665881702387]
ステレオマッチングのための新しいダイレクトディープス学習ネットワーク(DDL-Net)が設計されている。 DDL-Netは、粗度推定段階と適応勾配深度補正段階の2段階からなる。我々は,DDL-NetがSceneFlowデータセットで25%,DrivingStereoデータセットで12%の平均的な改善を実現していることを示す。
論文参考訳（メタデータ） (2020-12-10T10:33:57Z)
Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文参考訳（メタデータ） (2020-10-29T06:32:53Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。