論文の概要: Efficient Graph-Friendly COCO Metric Computation for Train-Time Model
Evaluation
- arxiv url: http://arxiv.org/abs/2207.12120v1
- Date: Thu, 21 Jul 2022 22:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:50:04.246331
- Title: Efficient Graph-Friendly COCO Metric Computation for Train-Time Model
Evaluation
- Title(参考訳): 列車時間モデル評価のためのグラフフレンドリーCOCOメトリック計算の効率化
- Authors: Luke Wood, Francois Chollet
- Abstract要約: 我々はCOCO平均精度を計算し、リコールするグラフフレンドリーなアルゴリズムを提案する。
我々の貢献には、平均精度の正確な近似アルゴリズム、COCO平均精度とCOCOリコールのオープンソース実装、そして我々の実装の精度を検証するための広範な数値ベンチマークが含まれる。
- 参考スコア(独自算出の注目度): 3.04585143845864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the COCO mean average precision (MaP) and COCO recall metrics as
part of the static computation graph of modern deep learning frameworks poses a
unique set of challenges. These challenges include the need for maintaining a
dynamic-sized state to compute mean average precision, reliance on global
dataset-level statistics to compute the metrics, and managing differing numbers
of bounding boxes between images in a batch. As a consequence, it is common
practice for researchers and practitioners to evaluate COCO metrics as a post
training evaluation step. With a graph-friendly algorithm to compute COCO Mean
Average Precision and recall, these metrics could be evaluated at training
time, improving visibility into the evolution of the metrics through training
curve plots, and decreasing iteration time when prototyping new model versions.
Our contributions include an accurate approximation algorithm for Mean
Average Precision, an open source implementation of both COCO mean average
precision and COCO recall, extensive numerical benchmarks to verify the
accuracy of our implementations, and an open-source training loop that include
train-time evaluation of mean average precision and recall.
- Abstract(参考訳): 現代のディープラーニングフレームワークの静的計算グラフの一部として、COCO平均平均精度(MaP)とCOCOリコールメトリクスを評価することは、ユニークな課題である。
これらの課題には、平均精度を計算するために動的サイズの状態を維持すること、メトリクスを計算するためにグローバルデータセットレベルの統計に依存すること、バッチ内の画像間で異なる数のバウンディングボックスを管理することが含まれる。
結果として、研究者や実践者がCOCOメトリクスをポストトレーニング評価ステップとして評価することが一般的である。
coco平均平均精度とリコールを計算するグラフフレンドリーなアルゴリズムによって、これらのメトリクスはトレーニング時に評価され、トレーニング曲線プロットによるメトリクスの進化の可視性が向上し、新しいモデルバージョンのプロトタイピング時のイテレーション時間が短縮される。
提案手法は,平均平均精度の正確な近似アルゴリズム,coco平均精度とcocoリコールのオープンソース実装,実装の精度を検証するための広範な数値ベンチマーク,平均精度とリコールのトレインタイム評価を含むオープンソースのトレーニングループなどを含む。
関連論文リスト
- Overcoming Pitfalls in Graph Contrastive Learning Evaluation: Toward
Comprehensive Benchmarks [60.82579717007963]
本稿では,グラフコントラスト学習(GCL)手法の有効性,一貫性,全体的な能力をより正確に評価するために,拡張された評価フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-24T01:47:56Z) - Improving importance estimation in covariate shift for providing
accurate prediction error [0.0]
Kullback-Leibler Importance Estimation(KLIEP)は、有望な方法で重要度を推定できる。
本稿では,重要度計算における対象情報を考慮した場合の性能改善の可能性について検討する。
論文 参考訳(メタデータ) (2024-02-02T14:39:39Z) - Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-01T18:02:04Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳(メタデータ) (2023-02-03T02:40:54Z) - Feature space approximation for kernel-based supervised learning [2.653409741248232]
目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。
完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。
本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
論文 参考訳(メタデータ) (2020-11-25T11:23:58Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳(メタデータ) (2020-06-16T18:43:31Z) - Scalable Distributed Approximation of Internal Measures for Clustering
Evaluation [5.144809478361603]
クラスタリング評価のための内部測度はシルエット係数であり、計算には2つの距離計算が必要である。
本稿では,任意の距離に基づいてクラスタリングの評価を行うための厳密な近似を計算した最初のスケーラブルアルゴリズムを提案する。
また,このアルゴリズムは凝集や分離などのクラスタリング品質の他の内部指標の厳密な近似に適応可能であることも証明した。
論文 参考訳(メタデータ) (2020-03-03T10:28:14Z) - ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。
この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。
トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
論文 参考訳(メタデータ) (2020-02-25T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。