論文の概要: On Transfer in Classification: How Well do Subsets of Classes Generalize?

• arxiv url: http://arxiv.org/abs/2403.03569v1
• Date: Wed, 6 Mar 2024 09:25:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:34:21.129296
• Title: On Transfer in Classification: How Well do Subsets of Classes Generalize?
• Title（参考訳）: 分類における転送について: サブセットはどの程度一般化するか?
• Authors: Raphael Baena, Lucas Drumetz, Vincent Gripon
• Abstract要約: 分類において、あるクラスの集合で訓練されたモデルが、以前は目に見えないモデルに一般化できることを観察することは、通常である。 この機能は、事前訓練されたモデルを使って新しいクラスを処理できるトランスファーラーニングの文脈でしばしば活用される。 本研究では,クラス間の移動可能性に関する理論的枠組みの基盤を構築することに興味を持つ。
• 参考スコア（独自算出の注目度）: 6.38421840998693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In classification, it is usual to observe that models trained on a given set of classes can generalize to previously unseen ones, suggesting the ability to learn beyond the initial task. This ability is often leveraged in the context of transfer learning where a pretrained model can be used to process new classes, with or without fine tuning. Surprisingly, there are a few papers looking at the theoretical roots beyond this phenomenon. In this work, we are interested in laying the foundations of such a theoretical framework for transferability between sets of classes. Namely, we establish a partially ordered set of subsets of classes. This tool allows to represent which subset of classes can generalize to others. In a more practical setting, we explore the ability of our framework to predict which subset of classes can lead to the best performance when testing on all of them. We also explore few-shot learning, where transfer is the golden standard. Our work contributes to better understanding of transfer mechanics and model generalization.
• Abstract（参考訳）: 分類において、与えられたクラスのセットでトレーニングされたモデルが、以前は見つからなかったモデルに一般化できることを観察することは、通常である。 この能力は、事前学習されたモデルを微調整の有無に関わらず、新しいクラスを処理するために使用できる転送学習の文脈でしばしば活用される。 驚くべきことに、この現象以外の理論的ルーツを考察する論文がいくつかある。 本研究では,クラス間の移動可能性に関する理論的枠組みの基盤を構築することに興味を持つ。 すなわち、クラスの部分順序部分集合を確立する。 このツールは、クラスのどのサブセットを他のクラスに一般化できるかを表現することができる。 より実践的な環境では、テスト時にどのサブセットのクラスが最高のパフォーマンスをもたらすかを予測できるフレームワークの能力について検討する。 私たちはまた、転校が黄金の標準である、少数ながらの学習についても調べます。 我々の研究は、伝達力学の理解を深め、モデル一般化に寄与する。

関連論文リスト

• Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings [5.899701834228992]
  クラスインクリメンタルラーニング(class-incremental learning、クラス-IL)では、モデルがタスクIDなしでテスト時に見たすべてのクラスを分類しなければなりません。 本稿では,クラスILの新しい数学的枠組みを提案し,識別モデルでは最適なクラスILは不可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T06:08:38Z)
• A separability-based approach to quantifying generalization: which layer is best? [0.0]
  未確認データへの一般化は、ディープラーニングの分類と基礎モデルではよく理解されていない。 サンプル領域を表すネットワークのキャパシティを評価するための新しい手法を提案する。 i) 高い分類精度は高い一般化可能性を示すものではなく、(ii) モデルの深い層が必ずしも最良を一般化するとは限らない。
  論文  参考訳（メタデータ） (2024-05-02T17:54:35Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
  末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。 我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。 実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-13T15:48:59Z)
• Affinity-Based Hierarchical Learning of Dependent Concepts for Human Activity Recognition [6.187780920448871]
  重なり合うクラスを階層化することで、分類性能が大幅に向上することを示す。 これは、SHLデータセットに特徴付けられるアクティビティ認識タスクの場合、特に当てはまります。 学習プロセスの最適階層を決定するために,クラス間の移動親和性に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-11T01:08:48Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)
• Subclass Distillation [94.18870689772544]
  本研究では,教師の一般化能力のほとんどを学生に転移させることが可能であることを示す。 既知の、自然なサブクラスが存在するデータセットに対して、教師が同様のサブクラスを学ぶことを示す。 サブクラスが不明なクリックスルーデータセットの場合、サブクラス蒸留により、学生はより速く、より良く学習できることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。