論文の概要: SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions

• arxiv url: http://arxiv.org/abs/1912.12355v1
• Date: Fri, 27 Dec 2019 22:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 22:57:26.456484
• Title: SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions
• Title（参考訳）: softadapt:多部分損失関数を用いたニューラルネットワークの適応損失重み付け手法
• Authors: A. Ali Heydari, Craig A. Thompson and Asif Mehmood
• Abstract要約: 我々は,多部損失関数に対する関数重みを動的に変化させる,SoftAdaptと呼ばれる手法群を提案する。 SoftAdaptは数学的に直感的で、計算効率が良く、実装も簡単です。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive loss function formulation is an active area of research and has gained a great deal of popularity in recent years, following the success of deep learning. However, existing frameworks of adaptive loss functions often suffer from slow convergence and poor choice of weights for the loss components. Traditionally, the elements of a multi-part loss function are weighted equally or their weights are determined through heuristic approaches that yield near-optimal (or sub-optimal) results. To address this problem, we propose a family of methods, called SoftAdapt, that dynamically change function weights for multi-part loss functions based on live performance statistics of the component losses. SoftAdapt is mathematically intuitive, computationally efficient and straightforward to implement. In this paper, we present the mathematical formulation and pseudocode for SoftAdapt, along with results from applying our methods to image reconstruction (Sparse Autoencoders) and synthetic data generation (Introspective Variational Autoencoders).
• Abstract（参考訳）: 適応的損失関数の定式化は研究の活発な領域であり、近年はディープラーニングの成功を受けて大きな人気を集めている。 しかし、適応損失関数の既存のフレームワークは、しばしば緩やかな収束と損失成分の重み選択に悩まされる。 伝統的に、多部損失関数の要素は等しく重み付けされるか、あるいはその重み付けは、準最適(または準最適)な結果をもたらすヒューリスティックなアプローチによって決定される。 この問題に対処するため、我々は、コンポーネント損失のライブパフォーマンス統計に基づいて、多部損失関数の関数重みを動的に変更する、SoftAdaptと呼ばれる一連の手法を提案する。 SoftAdaptは数学的に直感的で、計算効率が良く、実装も簡単です。 本稿では,SoftAdaptの数学的定式化と擬似コードについて,画像再構成(スパースオートエンコーダ)と合成データ生成(イントロスペクティブ変分オートエンコーダ)に適用した結果とともに述べる。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• FourierLoss: Shape-Aware Loss Function with Fourier Descriptors [1.5659201748872393]
  この研究は、FourierLossという新しい形状認識損失関数を導入しました。 これは、地上の真実と予測されたセグメンテーションマップの間の形状の相違に依拠し、それらのオブジェクト上で計算されたフーリエ記述子を通し、ネットワークトレーニングにおけるこの相違を罰する。 提案した形状認識損失関数が肝セグメンテーションに有意な有意な有意な成績を示した。
  論文  参考訳（メタデータ） (2023-09-21T14:23:10Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• AutoLoss: Automated Loss Function Search in Recommendations [34.27873944762912]
  候補集合から適切な損失関数を自動かつ適応的に検索できるAutoLossフレームワークを提案する。 既存のアルゴリズムとは異なり、提案したコントローラは、様々な収束挙動に応じて、異なるデータ例に対する損失確率を適応的に生成することができる。
  論文  参考訳（メタデータ） (2021-06-12T08:15:00Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Multi-Loss Weighting with Coefficient of Variations [19.37721431024278]
  本稿では,変動係数に基づく重み付け手法を提案し,モデルのトレーニング中に観測された特性に基づいて重みを設定する。 提案手法は損失のバランスをとるための不確実性の尺度を組み込んでおり、その結果、他の(学習ベース)最適化を必要とせずに、トレーニング中に損失重みが進化する。 提案手法の有効性は,複数のデータセット上での深度推定とセマンティックセグメンテーションに実証的に示される。
  論文  参考訳（メタデータ） (2020-09-03T14:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。