論文の概要: Error-free Training for Artificial Neural Network
- arxiv url: http://arxiv.org/abs/2312.16060v1
- Date: Tue, 26 Dec 2023 14:15:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 14:57:56.024366
- Title: Error-free Training for Artificial Neural Network
- Title（参考訳）: ニューラルネットワークのエラーのないトレーニング
- Authors: Bo Deng
- Abstract要約: ニューラルネットワーク(ANN)モデルのトレーニング方法は、大規模データに対して体系的にゼロエラー率を達成できない。
新しいトレーニング方法は3つのステップから構成される: まず、クローン化されたデータの損失関数のグローバルな最小値に対応する、従来の訓練されたパラメータから補助データを作成する。
第3に、ホモトピーパラメータの補助データ終端から原データ終端まで、反復毎にゼロエラー訓練率を維持しながら、ハイブリッドデータのモデルを反復的にトレーニングする。
- 参考スコア（独自算出の注目度）: 0.48951183832371004
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Conventional training methods for artificial neural network (ANN) models
never achieve zero error rate systematically for large data. A new training
method consists of three steps: first create an auxiliary data from
conventionally trained parameters which correspond exactly to a global minimum
for the loss function of the cloned data; second create a one-parameter
homotopy (hybrid) of the auxiliary data and the original data; and third train
the model for the hybrid data iteratively from the auxiliary data end of the
homotopy parameter to the original data end while maintaining the zero-error
training rate at every iteration. This continuationmethod is guaranteed to
converge numerically by a theorem which converts the ANN training problem into
a continuation problem for fixed points of a parameterized transformation in
the training parameter space to which the Uniform Contraction Mapping Theorem
from dynamical systems applies.
- Abstract（参考訳）: ニューラルネットワーク(ANN)モデルの従来のトレーニング方法は、大規模データに対して体系的にゼロエラー率を達成できない。
A new training method consists of three steps: first create an auxiliary data from conventionally trained parameters which correspond exactly to a global minimum for the loss function of the cloned data; second create a one-parameter homotopy (hybrid) of the auxiliary data and the original data; and third train the model for the hybrid data iteratively from the auxiliary data end of the homotopy parameter to the original data end while maintaining the zero-error training rate at every iteration.
この継続法は、ANNのトレーニング問題を力学系から一様収縮写像定理を適用する訓練パラメータ空間におけるパラメータ化変換の固定点に対する継続問題に変換する定理により数値的に収束することが保証される。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Transferring Learning Trajectories of Neural Networks [2.2299983745857896]
深層ニューラルネットワーク(DNN)のトレーニングには計算コストがかかる。
我々は、与えられた学習軌跡を1つの初期パラメータから別のパラメータへ"転送する"という問題を定式化する。
移動パラメータが直接トレーニングの前に非自明な精度を達成できることを実証的に示し、スクラッチからトレーニングするよりもはるかに高速に訓練できることを実証した。
論文 参考訳（メタデータ） (2023-05-23T14:46:32Z) - Efficient Parametric Approximations of Neural Network Function Space
Distance [6.117371161379209]
モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。
我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。
本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
論文 参考訳（メタデータ） (2023-02-07T15:09:23Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - More data or more parameters? Investigating the effect of data structure
on generalization [17.249712222764085]
データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。
ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
論文 参考訳（メタデータ） (2021-03-09T16:08:41Z) - Training a First-Order Theorem Prover from Synthetic Data [50.23600875138756]
自動定理証明に機械学習を適用する際の大きな課題は、トレーニングデータの不足である。
本稿では,人間のデータを公理によらずに,純粋に合成生成定理をトレーニングする手法を提案する。
私達の神経証明者は時間および検索のステップのこの総合的なデータで最先端のE-proverを上回っます。
論文 参考訳（メタデータ） (2021-03-05T17:01:34Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。