論文の概要: On the stability of learning

• arxiv url: http://arxiv.org/abs/2610.35856v1
• Date: Mon, 26 Oct 2026 17:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.139385
• Title: On the stability of learning
• Title（参考訳）: 学習の安定性について
• Abstract要約: 情報が騒々しく、断続的にしか利用できない場合、学習は不安定である可能性がある。 特に、平均的な学習力学が正しい最適値に収束しても、学習のばらつきは断続的に無限である。
• 参考スコア（独自算出の注目度）: 5.076419064097734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning algorithms are usually analyzed under the assumption that informative gradients are continuously available. But this is not always true---learning signals in biological neural networks, for example, may be sparse, local, and only intermittently available at any given synapse. In this work, we show that if gradient information is noisy and only intermittently available, learning may be unstable. In particular, even if average learning dynamics converge to the correct optimum, variance in learning may be asymptotically infinite. We explore this point in a number of analytically tractable settings, including single-layer and multi-layer linear networks, and derive explicit conditions under which learning is stable. These conditions complement, but are conceptually distinct from, existing conditions related to the stability of stochastic gradient descent. Our work demonstrates that unbiased credit assignment is not enough for reliable learning; sufficiently frequent and informative feedback is also required, which yields an additional constraint on models of biologically plausible learning.
• Abstract（参考訳）: 学習アルゴリズムは通常、情報勾配が継続的に利用できるという仮定の下で分析される。 しかし、これは必ずしも真実ではない。例えば、生物学的ニューラルネットワークにおける学習信号は、スパースで局所的で、どのシナプスでも断続的にのみ利用できる。 本研究は,勾配情報にノイズがあり,断続的にのみ利用できる場合,学習は不安定であることを示す。 特に、平均的な学習力学が正しい最適値に収束しても、学習のばらつきは漸近的に無限である。 この点を,単層および多層線形ネットワークを含む解析的に抽出可能な多くの設定で検討し,学習が安定な条件を導出する。 これらの条件は相補的であるが、確率勾配降下の安定性に関連する既存の条件とは概念的に異なる。 我々の研究は、バイアスのない信用代入が信頼できる学習には不十分であることを示した。

関連論文リスト

• Degradation of Feature Space in Continual Learning [2.322400467239964]
  本研究では,特徴空間の等方性向上が連続学習における表現品質の向上に寄与するかどうかを考察する。 等方正則化は改善せず、実際には劣化し、連続的な設定で精度をモデル化できる。
  論文  参考訳（メタデータ） (2026-02-06T10:26:34Z)
• On Biologically Plausible Learning in Continuous Time [7.8697431086492955]
  本研究では,生物学的に妥当な学習アルゴリズムを統一した連続時間ニューラルモデルについて検討する。 勾配降下法(SGD)、フィードバックアライメント法(FA)、直接フィードバックアライメント法(DFA)、コレン・ポラック法(KP)などの規則は、力学の制約として自然に現れる。 シミュレーションにより、これらの連続時間ネットワークは、時間的ミスマッチや統合ノイズの下でも、生物学的な時間スケールで安定して学習することが示される。
  論文  参考訳（メタデータ） (2025-10-21T17:04:06Z)
• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
  ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。 モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。 我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
  論文  参考訳（メタデータ） (2024-06-06T19:56:33Z)
• Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
  本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。 ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
  論文  参考訳（メタデータ） (2024-05-29T04:53:31Z)
• Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks [101.56637264703058]
  変分ベイズニューラルネットワークは不確実性推定を改善するために有効であることを示す。 比較学習における不確実性の新たな尺度を提案するが、これは異なる正のサンプルによる可能性の相違に基づくものである。
  論文  参考訳（メタデータ） (2023-11-30T22:32:24Z)
• Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent [16.849376037005452]
  ニューラルネットワークのサドル点を2つのタイプに分けることができ、その中では、勾配ノイズがサドルで消えてしまうため、タイプIIサドルが特に逃れるのが困難である。 これらのサドルの周りのSGDのダイナミクスは、ランダム行列積プロセスによって記述される先行次数へと導かれる。 我々は,サドル点がSGDに対して魅力的あるいは反発的であり,その力学は,サドルに近い勾配の信号-雑音比に応じて,4つの異なる位相に分類できることを示す。
  論文  参考訳（メタデータ） (2023-03-23T08:17:10Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。