Fugu-MT 論文翻訳(概要): Permutative redundancy and uncertainty of the objective in deep learning

論文の概要: Permutative redundancy and uncertainty of the objective in deep learning

arxiv url: http://arxiv.org/abs/2411.07008v1
Date: Mon, 11 Nov 2024 14:06:56 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:09:42.636787
Title: Permutative redundancy and uncertainty of the objective in deep learning
Title（参考訳）: 深層学習における目的の変動的冗長性と不確実性
Authors: Vacslav Glukhov,
Abstract要約: 伝統的な建築は、天文学的な数の大域的・局所的な最適化によって汚染されていることが示されている。ゴーストオプティマを減らしたり排除したりする治療について論じる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Implications of uncertain objective functions and permutative symmetry of traditional deep learning architectures are discussed. It is shown that traditional architectures are polluted by an astronomical number of equivalent global and local optima. Uncertainty of the objective makes local optima unattainable, and, as the size of the network grows, the global optimization landscape likely becomes a tangled web of valleys and ridges. Some remedies which reduce or eliminate ghost optima are discussed including forced pre-pruning, re-ordering, ortho-polynomial activations, and modular bio-inspired architectures.
Abstract（参考訳）: 従来のディープラーニングアーキテクチャにおける不確実な目的関数と置換対称性の影響について論じる。伝統的な建築は、天文学的な数の大域的・局所的な最適化によって汚染されていることが示されている。目的の不確実性により、局所的な最適化は実現不可能となり、ネットワークのサイズが大きくなるにつれて、グローバルな最適化の展望は谷や尾根の絡み合った網になる可能性が高い。ゴースト・オプティマを減らしたり排除したりするいくつかの治療法は、強制的なプレプニング、再注文、オルト・ポリノミカル・アクティベーション、モジュラー・バイオインスパイアされたアーキテクチャなどについて論じられている。

関連論文リスト

OCMG-Net: Neural Oriented Normal Refinement for Unstructured Point Clouds [18.234146052486054]
非構造点雲から指向性正規項を推定するための頑健な精錬法を提案する。我々のフレームワークは、初期指向の正規性を洗練させるために、特徴空間に符号配向とデータ拡張を組み込んでいる。従来手法に存在した騒音による方向の不整合の問題に対処するため, チャンファー正規距離と呼ばれる新しい指標を導入する。
論文参考訳（メタデータ） (2024-09-02T09:30:02Z)
Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文参考訳（メタデータ） (2024-06-07T19:10:31Z)
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文参考訳（メタデータ） (2023-05-19T10:47:44Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Optimisation & Generalisation in Networks of Neurons [8.078758339149822]
この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
論文参考訳（メタデータ） (2022-10-18T18:58:40Z)
On skip connections and normalisation layers in deep optimisation [32.51139594406463]
本稿では、ディープニューラルネットワークの最適化研究のための一般的な理論的枠組みを紹介する。本フレームワークは多層損失景観の曲率および規則性特性を決定する。スキップ接続がトレーニングを加速する新しい因果メカニズムを同定する。
論文参考訳（メタデータ） (2022-10-10T06:22:46Z)
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文参考訳（メタデータ） (2021-02-17T04:47:18Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Multi-objective and categorical global optimization of photonic structures based on ResNet generative neural networks [0.0]
残余のネットワークスキームにより、GLOnetは深いアーキテクチャから浅いネットワークへと進化し、グローバルに最適なデバイスの狭い分布を生成することができる。 GLOnetは従来のアルゴリズムに比べて桁違いに高速でグローバルな最適化が可能であることを示す。その結果,深層学習における高度な概念が,フォトニクスの逆設計アルゴリズムの能力を推し進めることが示唆された。
論文参考訳（メタデータ） (2020-07-20T06:50:53Z)
DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
論文参考訳（メタデータ） (2020-07-04T04:40:16Z)
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
論文参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。