Fugu-MT 論文翻訳(概要): Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation

論文の概要: Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation

arxiv url: http://arxiv.org/abs/2207.11211v1
Date: Fri, 22 Jul 2022 17:24:13 GMT
ステータス: 処理完了
システム内更新日: 2022-07-25 13:20:20.802015
Title: Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation
Title（参考訳）: 意味セグメンテーションにおける重み融合による予測性能と校正の改善
Authors: Timo S\"amann, Ahmed Mostafa Hammam, Andrei Bursuc, Christoph Stiller, Horst-Michael Gro{\ss}
Abstract要約: ネットワークの深いアンサンブルの予測を平均化することは、予測性能と校正を改善するための一般的かつ効果的な方法である。単純な重み融合(WF)ストラテジーは予測性能と校正を著しく向上させる可能性があることを示す。
参考スコア（独自算出の注目度）: 18.47581580698701
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Averaging predictions of a deep ensemble of networks is apopular and effective method to improve predictive performance andcalibration in various benchmarks and Kaggle competitions. However, theruntime and training cost of deep ensembles grow linearly with the size ofthe ensemble, making them unsuitable for many applications. Averagingensemble weights instead of predictions circumvents this disadvantageduring inference and is typically applied to intermediate checkpoints ofa model to reduce training cost. Albeit effective, only few works haveimproved the understanding and the performance of weight averaging.Here, we revisit this approach and show that a simple weight fusion (WF)strategy can lead to a significantly improved predictive performance andcalibration. We describe what prerequisites the weights must meet interms of weight space, functional space and loss. Furthermore, we presenta new test method (called oracle test) to measure the functional spacebetween weights. We demonstrate the versatility of our WF strategy acrossstate of the art segmentation CNNs and Transformers as well as real worlddatasets such as BDD100K and Cityscapes. We compare WF with similarapproaches and show our superiority for in- and out-of-distribution datain terms of predictive performance and calibration.
Abstract（参考訳）: ネットワークの深いアンサンブルの予測は、様々なベンチマークやKaggleコンペティションにおける予測性能と校正を改善するために人気があり効果的な方法である。しかし、深いアンサンブルのランタイムとトレーニングコストはアンサンブルのサイズによって線形に増大し、多くの用途に適さない。 averagingensemble weights は予測の代わりにこの不利な推論を回避し、トレーニングコストを削減するためにモデルの中間チェックポイントに適用される。実効性はあるものの、重量平均化の理解と性能を改良した作品はごくわずかであり、このアプローチを再検討し、単純な重量融合(wf)戦略によって予測性能とキャリブレーションが大幅に向上することを示す。重みが重み空間、機能空間、損失の項を満たす必要条件について述べる。さらに,機能的空間間重量を測定するための新しい試験法(オラクル試験)を提案する。我々は、アートセグメンテーションCNNやトランスフォーマー、BDD100KやCityscapesといった実世界データセットなど、最先端のWF戦略の汎用性を実証する。 WFを類似のアパッチと比較し,予測性能とキャリブレーションの観点から分布内および分布外データに対する優位性を示す。

関連論文リスト

Optimizing importance weighting in the presence of sub-population shifts [0.0]
トレーニングデータとテストデータの間の分散シフトは、機械学習モデルの性能を著しく損なう可能性がある。トレーニングデータの有限標本サイズによる推定モデルのばらつきの増大を無視するため,既存の重み付けは準最適であると主張する。重みとモデルパラメータを同時に最適化する二段階最適化手法を提案する。
論文参考訳（メタデータ） (2024-10-18T09:21:10Z)
Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文参考訳（メタデータ） (2024-07-28T19:18:59Z)
Rethinking the Starting Point: Collaborative Pre-Training for Federated Downstream Tasks [21.842345900168525]
CoPreFLはモデルに依存しないメタラーニング(MAML)プロシージャで、異種および目に見えないFLシナリオを忠実に模倣するようにグローバルモデルを調整する。当社のMAML手順では,パフォーマンスの分散をメタオブジェクト関数に組み込んで,クライアント間でパフォーマンスのバランスをとる。我々は,任意の下流FLタスク間の平均精度と分散の両面で,CoPreFLが大幅に改善されることを実証した。
論文参考訳（メタデータ） (2024-02-03T17:58:43Z)
Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
論文参考訳（メタデータ） (2023-09-15T13:04:55Z)
Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
論文参考訳（メタデータ） (2023-02-28T15:03:18Z)
Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
論文参考訳（メタデータ） (2022-12-03T07:52:48Z)
Generalized Parametric Contrastive Learning [60.62901294843829]
一般化パラメトリックコントラスト学習(GPaCo/PaCo)は、不均衡データとバランスデータの両方でうまく機能する。長い尾のベンチマークの実験は、長い尾の認識のための新しい最先端を示す。
論文参考訳（メタデータ） (2022-09-26T03:49:28Z)
Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文参考訳（メタデータ） (2022-08-05T01:23:54Z)
FORML: Learning to Reweight Data for Fairness [2.105564340986074]
メタラーニング(FORML)によるフェアネス最適化リヘアリングについて紹介する。 FORMLは、トレーニングサンプル重量とニューラルネットワークのパラメータを共同最適化することで、公正性の制約と精度のバランスを取る。また,FORMLは,既存の最先端再重み付け手法に比べて,画像分類タスクで約1%,顔予測タスクで約5%向上することを示した。
論文参考訳（メタデータ） (2022-02-03T17:36:07Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。