論文の概要: Multi-Loss Weighting with Coefficient of Variations
- arxiv url: http://arxiv.org/abs/2009.01717v2
- Date: Tue, 10 Nov 2020 10:41:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 07:00:28.842874
- Title: Multi-Loss Weighting with Coefficient of Variations
- Title（参考訳）: 変動係数を有するマルチロス重み付け
- Authors: Rick Groenendijk, Sezer Karaoglu, Theo Gevers, Thomas Mensink
- Abstract要約: 本稿では,変動係数に基づく重み付け手法を提案し,モデルのトレーニング中に観測された特性に基づいて重みを設定する。
提案手法は損失のバランスをとるための不確実性の尺度を組み込んでおり、その結果、他の(学習ベース)最適化を必要とせずに、トレーニング中に損失重みが進化する。
提案手法の有効性は,複数のデータセット上での深度推定とセマンティックセグメンテーションに実証的に示される。
- 参考スコア（独自算出の注目度）: 19.37721431024278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many interesting tasks in machine learning and computer vision are learned by
optimising an objective function defined as a weighted linear combination of
multiple losses. The final performance is sensitive to choosing the correct
(relative) weights for these losses. Finding a good set of weights is often
done by adopting them into the set of hyper-parameters, which are set using an
extensive grid search. This is computationally expensive. In this paper, we
propose a weighting scheme based on the coefficient of variations and set the
weights based on properties observed while training the model. The proposed
method incorporates a measure of uncertainty to balance the losses, and as a
result the loss weights evolve during training without requiring another
(learning based) optimisation. In contrast to many loss weighting methods in
literature, we focus on single-task multi-loss problems, such as monocular
depth estimation and semantic segmentation, and show that multi-task approaches
for loss weighting do not work on those single-tasks. The validity of the
approach is shown empirically for depth estimation and semantic segmentation on
multiple datasets.
- Abstract（参考訳）: 機械学習とコンピュータビジョンにおける多くの興味深いタスクは、複数の損失の重み付き線形結合として定義される目的関数を最適化することで学習される。
最終的なパフォーマンスは、これらの損失に対して正しい(相対的な)重みを選択することに敏感である。
良い重みの集合を見つけることは、しばしば、広範グリッドサーチを用いて設定されるハイパーパラメータの集合にそれらを取り入れることによって行われる。
これは計算コストが高い。
本稿では,変形係数に基づく重み付けスキームを提案し,モデルの学習中に観測された特性に基づいて重み付けをセットする。
提案手法では,損失のバランスをとるための不確実性尺度が組み込まれており,その結果,他の(学習に基づく)最適化を必要とせず,トレーニング中に損失重みが進化する。
文献における多くの損失重み付け手法とは対照的に,単眼深度推定やセマンティクスセグメンテーションといったシングルタスクのマルチロス問題に着目し,損失重み付けのマルチタスクアプローチがそれらのシングルタスクでは機能しないことを示す。
提案手法の有効性は,複数のデータセット上での深度推定とセマンティックセグメンテーションに実証的に示される。
関連論文リスト
- Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning [8.493889694402478]
マルチタスク学習(MTL)における鍵となる課題は、ニューラルネットワークトレーニング中の個々のタスク損失のバランスを取り、パフォーマンスと効率を改善することである。
本稿では,不確かさ重み付けの最も一般的な手法に基づくタスク重み付け手法を提案する。
我々のアプローチは、解析的に禁止された、スケーラブル化のブルートフォースアプローチに匹敵する結果をもたらす。
論文 参考訳（メタデータ） (2024-08-15T07:10:17Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳（メタデータ） (2023-10-13T07:31:04Z) - Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs
"Difficult" Downstream Tasks in LLMs [71.56345106591789]
大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。
本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
論文 参考訳（メタデータ） (2023-09-29T22:55:06Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Dynamic Multi-Scale Loss Optimization for Object Detection [14.256807110937622]
マルチスケール検出器訓練の客観的不均衡について検討する。
本稿では, 適応可変重み付け (AVW) を提案する。
トレーニング中に重み付け方式を確率的に決定する新しい強化学習最適化(RLO)を開発した。
論文 参考訳（メタデータ） (2021-08-09T13:12:41Z) - Rethinking Deep Contrastive Learning with Embedding Memory [58.66613563148031]
ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。
本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
論文 参考訳（メタデータ） (2021-03-25T17:39:34Z) - Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。
サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。
サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
論文 参考訳（メタデータ） (2020-06-11T16:19:16Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。