論文の概要: Accelerated Neural Network Training with Rooted Logistic Objectives
- arxiv url: http://arxiv.org/abs/2310.03890v1
- Date: Thu, 5 Oct 2023 20:49:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 06:21:17.253622
- Title: Accelerated Neural Network Training with Rooted Logistic Objectives
- Title（参考訳）: 回転ロジスティック物体を用いた加速ニューラルネットワークトレーニング
- Authors: Zhu Wang, Praveen Raj Veluswami, Harsh Mishra, Sathya N. Ravi
- Abstract要約: 我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。
その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
- 参考スコア（独自算出の注目度）: 13.400503928962756
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Many neural networks deployed in the real world scenarios are trained using
cross entropy based loss functions. From the optimization perspective, it is
known that the behavior of first order methods such as gradient descent
crucially depend on the separability of datasets. In fact, even in the most
simplest case of binary classification, the rate of convergence depends on two
factors: (1) condition number of data matrix, and (2) separability of the
dataset. With no further pre-processing techniques such as
over-parametrization, data augmentation etc., separability is an intrinsic
quantity of the data distribution under consideration. We focus on the
landscape design of the logistic function and derive a novel sequence of {\em
strictly} convex functions that are at least as strict as logistic loss. The
minimizers of these functions coincide with those of the minimum norm solution
wherever possible. The strict convexity of the derived function can be extended
to finetune state-of-the-art models and applications. In empirical experimental
analysis, we apply our proposed rooted logistic objective to multiple deep
models, e.g., fully-connected neural networks and transformers, on various of
classification benchmarks. Our results illustrate that training with rooted
loss function is converged faster and gains performance improvements.
Furthermore, we illustrate applications of our novel rooted loss function in
generative modeling based downstream applications, such as finetuning StyleGAN
model with the rooted loss. The code implementing our losses and models can be
found here for open source software development purposes:
https://anonymous.4open.science/r/rooted_loss.
- Abstract（参考訳）: 現実世界のシナリオにデプロイされた多くのニューラルネットワークは、クロスエントロピーベースの損失関数を使用してトレーニングされる。
最適化の観点からは,勾配降下などの一階法の挙動がデータセットの分離性に大きく依存していることが知られている。
実際、二項分類の最も単純な場合においても、収束率は(1)データ行列の条件数と(2)データセットの分離可能性の2つの要因に依存する。
過剰パラメータ化やデータ拡張など、さらなる前処理技術がなければ、分離性は検討中のデータ分散の本質的な量である。
我々は,ロジスティック関数のランドスケープ設計に注目し,少なくともロジスティック損失と同程度の厳密な凸関数の新たなシーケンスを導出する。
これらの関数の最小値は可能な限り最小ノルム解の最小値と一致する。
導出関数の厳密な凸性は、最先端のモデルや応用に拡張することができる。
実験的な実験分析では,提案したルートロジスティックな目的を,様々な分類ベンチマークにおいて,完全接続型ニューラルネットワークやトランスフォーマーなど複数の深層モデルに適用する。
この結果から,根付き損失関数による学習はより早く収束し,性能が向上することが示された。
さらに,根付き損失を伴うスタイルガンモデルの微調整など,生成モデルに基づく下流アプリケーションにおける新たな根付き損失関数の適用例を示す。
私たちの損失とモデルを実装するコードは、オープンソースソフトウェア開発の目的のためにここにある。
関連論文リスト
- Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。
我々は,各地真実の周囲に凸景観を形成する学習を提案する。
論文 参考訳（メタデータ） (2024-11-16T01:13:04Z) - Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳（メタデータ） (2022-08-01T16:15:31Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳（メタデータ） (2022-06-20T18:43:35Z) - The Multiscale Structure of Neural Network Loss Functions: The Effect on
Optimization and Origin [12.092361450994318]
本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。
異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
論文 参考訳（メタデータ） (2022-04-24T17:34:12Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。