論文の概要: Differentiable Top-k Classification Learning

• arxiv url: http://arxiv.org/abs/2206.07290v1
• Date: Wed, 15 Jun 2022 04:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 13:26:50.527921
• Title: Differentiable Top-k Classification Learning
• Title（参考訳）: 微分可能なトップk分類学習
• Authors: Felix Petersen, Hilde Kuehne, Christian Borgelt, Oliver Deussen
• Abstract要約: 単一 k を使わずに、複数の k に対してモデルを同時に最適化する。 緩和kは, 上位5の精度向上だけでなく, 上位1の精度向上につながることがわかった。
• 参考スコア（独自算出の注目度）: 29.75063301688965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The top-k classification accuracy is one of the core metrics in machine learning. Here, k is conventionally a positive integer, such as 1 or 5, leading to top-1 or top-5 training objectives. In this work, we relax this assumption and optimize the model for multiple k simultaneously instead of using a single k. Leveraging recent advances in differentiable sorting and ranking, we propose a differentiable top-k cross-entropy classification loss. This allows training the network while not only considering the top-1 prediction, but also, e.g., the top-2 and top-5 predictions. We evaluate the proposed loss function for fine-tuning on state-of-the-art architectures, as well as for training from scratch. We find that relaxing k does not only produce better top-5 accuracies, but also leads to top-1 accuracy improvements. When fine-tuning publicly available ImageNet models, we achieve a new state-of-the-art for these models.
• Abstract（参考訳）: トップk分類精度は、機械学習のコアメトリクスの1つである。 ここで、k は伝統的に 1 や 5 のような正の整数であり、トップ1 やトップ5 の訓練目標に繋がる。 本研究では、この仮定を緩和し、単一の k を使わずに、複数の k に対してモデルを同時に最適化する。 微分可能なソートとランキングの最近の進歩を利用して、微分可能なtop-kクロスエントロピー分類の損失を提案する。 これにより、トップ1の予測だけでなく、トップ2とトップ5の予測も考慮しながら、ネットワークのトレーニングが可能になる。 我々は,最先端アーキテクチャの微調整やスクラッチからのトレーニングのための損失関数の評価を行った。 緩和kは, 上位5の精度向上だけでなく, 上位1の精度向上につながることがわかった。 公開されているImageNetモデルを微調整すると、これらのモデルのための新しい最先端技術が得られる。

関連論文リスト

• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Are Deep Sequence Classifiers Good at Non-Trivial Generalization? [4.941630596191806]
  バイナリシーケンス分類問題について検討し、異なる観点からモデルキャリブレーションを考察する。 対象クラスが稀な問題であるスパースシーケンス分類に注目し,3つのディープラーニングシーケンス分類モデルを比較した。 このバイナリ設定では、ディープラーニングモデルが、非自明な方法で基礎となるクラス分布を学習することができることが示唆されている。
  論文  参考訳（メタデータ） (2022-10-24T10:01:06Z)
• RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses [39.67403439576671]
  本稿では,2つのT5ベースのランキングモデル構造,エンコーダデコーダとエンコーダのみのランキングモデルを提案する。 実験の結果,提案したランキング損失モデルでは,異なる公開テキストランキングデータセットに対して,実質的なランキング性能向上が達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-12T20:51:49Z)
• A Case Study on the Classification of Lost Circulation Events During Drilling using Machine Learning Techniques on an Imbalanced Large Dataset [0.0]
  イランのアザデガン油田から得られた65,000以上のデータと階級不均衡問題を利用する。 データセットの17のパラメータのうち11は、5つの失われた循環イベントの分類に使用される。 分類モデルを生成するために,6つの基本機械学習アルゴリズムと4つのアンサンブル学習手法を用いた。
  論文  参考訳（メタデータ） (2022-09-04T12:28:40Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning [0.0]
  クロスエントロピー(CE)は、無限のトレーニングデータとモデル複雑さなしでトップk予測を最適化することを保証されていない。 私たちの新しい損失は、基本的にCEが1つのクラスとして時間的トップkクラスをグループ化することで修正されます。 我々の損失は、CEが10より大きい場合に比べて、上位kの精度が良いことが判明した。
  論文  参考訳（メタデータ） (2020-07-30T10:18:57Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。