論文の概要: Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2006.13593v1
• Date: Wed, 24 Jun 2020 10:16:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 13:00:48.151532
• Title: Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks
• Title（参考訳）: 振り返り損失:ディープニューラルネットワークのトレーニングを改善するために振り返る
• Authors: Surgan Jandial, Ayush Chopra, Mausoom Sarkar, Piyush Gupta, Balaji Krishnamurthy, Vineeth Balasubramanian
• Abstract要約: 我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。 レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。 簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 15.329684157845872
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) are powerful learning machines that have enabled breakthroughs in several domains. In this work, we introduce a new retrospective loss to improve the training of deep neural network models by utilizing the prior experience available in past model states during training. Minimizing the retrospective loss, along with the task-specific loss, pushes the parameter state at the current training step towards the optimal parameter state while pulling it away from the parameter state at a previous training step. Although a simple idea, we analyze the method as well as to conduct comprehensive sets of experiments across domains - images, speech, text, and graphs - to show that the proposed loss results in improved performance across input domains, tasks, and architectures.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、いくつかのドメインでブレークスルーを実現する強力な学習マシンである。 本研究では,過去のモデル状態から得られる先行経験を活用し,深層ニューラルネットワークモデルのトレーニングを改善するために,新たな振り返り損失を導入する。 レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップのパラメータ状態を、前回のトレーニングステップでパラメータ状態から引き離しながら、最適なパラメータ状態にプッシュする。 簡単なアイデアではあるが,提案手法は画像,音声,テキスト,グラフといった領域にわたる総合的な実験の集合を解析し,提案した損失が入力領域,タスク,アーキテクチャ間での性能向上をもたらすことを示す。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique [0.0]
  本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。 提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2023-08-09T16:41:00Z)
• Example Forgetting: A Novel Approach to Explain and Interpret Deep Neural Networks in Seismic Interpretation [12.653673008542155]
  ディープニューラルネットワークは、共通の解釈パイプラインにとって魅力的なコンポーネントです。 深層ニューラルネットワークは、モデルが訓練されていない部分に露出した場合、意味的に不正確な出力を生成するという特性のため、しばしば不信に満ちている。 本稿では,意味的誤動作予測をニューラルネットワーク表現多様体内の優雅な位置と効果的に関連付ける手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T19:19:22Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• A ReLU Dense Layer to Improve the Performance of Neural Networks [40.2470651460466]
  トレーニングされたニューラルネットワークの性能を向上させるために,ReDenseをシンプルかつ低複雑性な方法として提案する。 実験により、ReDenseは様々なニューラルネットワークアーキテクチャのトレーニングおよびテスト性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T11:56:01Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。