論文の概要: Are Deep Sequence Classifiers Good at Non-Trivial Generalization?

• arxiv url: http://arxiv.org/abs/2210.13082v1
• Date: Mon, 24 Oct 2022 10:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:32:18.396568
• Title: Are Deep Sequence Classifiers Good at Non-Trivial Generalization?
• Title（参考訳）: ディープシーケンス分類器は非Trivial Generalizationに優れているか?
• Authors: Francesco Cazzaro, Ariadna Quattoni, Xavier Carreras
• Abstract要約: バイナリシーケンス分類問題について検討し、異なる観点からモデルキャリブレーションを考察する。 対象クラスが稀な問題であるスパースシーケンス分類に注目し,3つのディープラーニングシーケンス分類モデルを比較した。 このバイナリ設定では、ディープラーニングモデルが、非自明な方法で基礎となるクラス分布を学習することができることが示唆されている。
• 参考スコア（独自算出の注目度）: 4.941630596191806
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in deep learning models for sequence classification have greatly improved their classification accuracy, specially when large training sets are available. However, several works have suggested that under some settings the predictions made by these models are poorly calibrated. In this work we study binary sequence classification problems and we look at model calibration from a different perspective by asking the question: Are deep learning models capable of learning the underlying target class distribution? We focus on sparse sequence classification, that is problems in which the target class is rare and compare three deep learning sequence classification models. We develop an evaluation that measures how well a classifier is learning the target class distribution. In addition, our evaluation disentangles good performance achieved by mere compression of the training sequences versus performance achieved by proper model generalization. Our results suggest that in this binary setting the deep-learning models are indeed able to learn the underlying class distribution in a non-trivial manner, i.e. by proper generalization beyond data compression.
• Abstract（参考訳）: シーケンス分類のためのディープラーニングモデルの最近の進歩は、特に大きなトレーニングセットがある場合に、その分類精度を大幅に向上させた。 しかし、いくつかの研究は、いくつかの設定の下では、これらのモデルによる予測は、調整が不十分であることを示唆している。 本研究では、二項列分類問題について検討し、異なる観点からモデルの校正について質問する: ディープラーニングモデルは、基礎となる対象クラス分布を学習できるのか? 対象クラスが稀な問題であるスパースシーケンス分類に注目し,3つのディープラーニングシーケンス分類モデルを比較した。 そこで我々は,分類器が対象クラス分布の学習能力を評価する評価手法を開発した。 さらに,本評価では,トレーニングシーケンスの単なる圧縮による性能向上と,適切なモデル一般化による性能向上を両立させる。 このバイナリ設定では、ディープラーニングモデルは、データ圧縮を超えた適切な一般化によって、基礎となるクラス分布を非自明な方法で学習することができることを示唆する。

関連論文リスト

• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
  本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。 固体アンサンブル分類器を構築するためのプール選択戦略が提示される。 我々は異常検出手法の不確実性を利用する。
  論文  参考訳（メタデータ） (2022-12-23T00:50:41Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Class-Incremental Learning with Generative Classifiers [6.570917734205559]
  本稿では,クラス増分学習のための新しい戦略を提案する。 本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。 ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
  論文  参考訳（メタデータ） (2021-04-20T16:26:14Z)
• One vs Previous and Similar Classes Learning -- A Comparative Study [2.208242292882514]
  この研究は、トレーニングされたモデルをスクラッチから再トレーニングすることなく更新できる3つの学習パラダイムを提案する。 その結果、提案されたパラダイムは更新時のベースラインよりも高速であり、そのうち2つはスクラッチからのトレーニング、特に大規模なデータセットでも高速であることが示された。
  論文  参考訳（メタデータ） (2021-01-05T00:28:38Z)
• Predicting Classification Accuracy When Adding New Unobserved Classes [8.325327265120283]
  そこで本研究では,より大規模で未観測のクラスに対して,期待する精度を推定するために,分類器の性能をどのように利用することができるかを検討する。 ニューラルネットワークに基づく頑健なアルゴリズム "CleaneX" を定式化し,任意のサイズのクラスに対して,そのような分類器の精度を推定する。
  論文  参考訳（メタデータ） (2020-10-28T14:37:25Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Initial Classifier Weights Replay for Memoryless Class Incremental Learning [11.230170401360633]
  インクリメンタルラーニング(IL)は、人工システムがデータのストリームを扱う必要があり、常にすべてのデータにアクセスできない場合に有用である。 バニラ微調整バックボーンに基づく別のアプローチを提案する。 我々は、メモリレスインクリメンタルな学習環境で、4つの公開データセットで徹底的な評価を行う。
  論文  参考訳（メタデータ） (2020-08-31T16:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。