論文の概要: Bucketed Ranking-based Losses for Efficient Training of Object Detectors
- arxiv url: http://arxiv.org/abs/2407.14204v1
- Date: Fri, 19 Jul 2024 11:01:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:54:18.917568
- Title: Bucketed Ranking-based Losses for Efficient Training of Object Detectors
- Title（参考訳）: 物体検出器の効率的な訓練のためのバケット式ランキングベース損失
- Authors: Feyza Yavuz, Baris Can Cam, Adnan Harun Dogan, Kemal Oksuz, Emre Akbas, Sinan Kalkan,
- Abstract要約: Average Precision Loss や Rank&Sort Loss のようなランクに基づく損失関数は、オブジェクト検出においてスコアベースの損失よりも優れていた。
これらは、$P$陽性と$N$負の予測のペアワイズ比較を必要とし、$mathcalO(PN)$の時間複雑性を導入する。
負の予測をB$バケット(B ll N$)にグループ化し、ペア比較の回数を減らす。
我々の手法は時間の複雑さを増し、$mathcalO(max)に還元する。
- 参考スコア（独自算出の注目度）: 21.261662785846056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ranking-based loss functions, such as Average Precision Loss and Rank&Sort Loss, outperform widely used score-based losses in object detection. These loss functions better align with the evaluation criteria, have fewer hyperparameters, and offer robustness against the imbalance between positive and negative classes. However, they require pairwise comparisons among $P$ positive and $N$ negative predictions, introducing a time complexity of $\mathcal{O}(PN)$, which is prohibitive since $N$ is often large (e.g., $10^8$ in ATSS). Despite their advantages, the widespread adoption of ranking-based losses has been hindered by their high time and space complexities. In this paper, we focus on improving the efficiency of ranking-based loss functions. To this end, we propose Bucketed Ranking-based Losses which group negative predictions into $B$ buckets ($B \ll N$) in order to reduce the number of pairwise comparisons so that time complexity can be reduced. Our method enhances the time complexity, reducing it to $\mathcal{O}(\max (N \log(N), P^2))$. To validate our method and show its generality, we conducted experiments on 2 different tasks, 3 different datasets, 7 different detectors. We show that Bucketed Ranking-based (BR) Losses yield the same accuracy with the unbucketed versions and provide $2\times$ faster training on average. We also train, for the first time, transformer-based object detectors using ranking-based losses, thanks to the efficiency of our BR. When we train CoDETR, a state-of-the-art transformer-based object detector, using our BR Loss, we consistently outperform its original results over several different backbones. Code is available at https://github.com/blisgard/BucketedRankingBasedLosses
- Abstract（参考訳）: Average Precision Loss や Rank&Sort Loss のようなランクに基づく損失関数は、オブジェクト検出においてスコアベースの損失よりも優れている。
これらの損失関数は評価基準とよく一致し、ハイパーパラメータを少なくし、正クラスと負クラスの不均衡に対して堅牢性を提供する。
しかし、それらは、$P$陽性と$N$負の予測のペアワイズ比較を必要とし、$\mathcal{O}(PN)$という時間複雑性を導入する。
それらの優位性にもかかわらず、ランキングベースの損失が広く採用されることは、その時間と空間の複雑さによって妨げられている。
本稿では,ランキングに基づく損失関数の効率向上に焦点をあてる。
この目的を達成するために、Bucketed Ranking-based Lossesを提案する。これは、負の予測をB$ buckets(B \ll N$)にグループ化し、ペア比較の数を減らすことで、時間的複雑さを低減できる。
我々の手法は時間の複雑さを高め、$\mathcal{O}(\max (N \log(N, P^2))$に還元する。
提案手法を検証し,その汎用性を示すために,2つの異なるタスク,3つの異なるデータセット,7つの異なる検出器の実験を行った。
我々は,Bucketed Ranking-based (BR) Lossesが,非接触型と同じ精度で,平均2ドル以上の高速トレーニングを提供することを示した。
また、BRの効率のおかげで、ランキングベースの損失を利用してトランスフォーマーベースの物体検出器を初めて訓練しました。
BRロスを用いて、最先端のトランスフォーマーベースの物体検出器であるCoDETRを訓練すると、元の結果を複数のバックボーンで一貫して上回ります。
コードはhttps://github.com/blisgard/BucketedRankingBasedLossesで入手できる。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - Optimization of Rank Losses for Image Retrieval [19.813887015431558]
我々は、堅牢で分解可能なランク損失最適化のための一般的なフレームワークを導入する。
非微分可能性(non-differentiability)と非分解性(non-decomposability)の2つの大きな課題に対処する。
最初の階層的ランドマーク検索データセットを作成します。
論文 参考訳（メタデータ） (2023-09-15T08:51:30Z) - Revisiting AP Loss for Dense Object Detection: Adaptive Ranking Pair
Selection [19.940491797959407]
本研究では, 平均精度 (AP) の損失を再考し, その重要な要素は, 正試料と負試料のランキングペアを選択することであることを明らかにした。
本稿では,AP損失を改善するための2つの方法を提案する。第1に,APE(Adaptive Pairwise Error)損失は,正と負の両方のサンプルにおいて,ペアのランク付けに重点を置いている。
MSCOCOデータセットで行った実験は、現在の分類とランキングの損失と比較して、提案手法の優位性を実証し、分析を支援した。
論文 参考訳（メタデータ） (2022-07-25T10:33:06Z) - Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic
Choices [37.559461866831754]
我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。
正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。
以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
論文 参考訳（メタデータ） (2022-03-27T00:47:00Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - Rank & Sort Loss for Object Detection and Instance Segmentation [20.653774383606557]
我々は、深層物体検出とインスタンス分割を訓練するためのランキングに基づく損失関数として、Rand & Sort (RS) Lossを提案する。
RS損失を用いて、学習率を調整して7つの多様な視覚検出器を訓練し、ベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2021-07-24T18:44:44Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Rethinking and Reweighting the Univariate Losses for Multi-Label
Ranking: Consistency and Generalization [44.73295800450414]
(部分)ランキング損失は、マルチラベル分類の一般的な評価尺度です。
既存の理論と実践の間にはギャップがある -- ペアワイズな損失は有望なパフォーマンスをもたらすが一貫性を欠く可能性がある。
論文 参考訳（メタデータ） (2021-05-10T09:23:27Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z) - A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。
3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
論文 参考訳（メタデータ） (2020-07-27T21:16:51Z) - Beyond Triplet Loss: Meta Prototypical N-tuple Loss for Person
Re-identification [118.72423376789062]
マルチクラス分類損失(N-tuple loss)を導入し、クエリごとの最適化のために複数の(N)インスタンスを共同で検討する。
マルチクラス分類を組み込んだモデルにより,ベンチマーク対象のReIDデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2020-06-08T23:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。