論文の概要: Anytime Continual Learning for Open Vocabulary Classification

• arxiv url: http://arxiv.org/abs/2409.08518v1
• Date: Fri, 13 Sep 2024 03:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 17:48:25.299548
• Title: Anytime Continual Learning for Open Vocabulary Classification
• Title（参考訳）: オープン語彙分類のための連続学習
• Authors: Zhen Zhu, Yiming Gong, Derek Hoiem,
• Abstract要約: AnytimeCLの問題は、バッチトレーニングと厳格なモデルから切り離すことだ。 本研究では,部分的に微調整されたモデルの予測と固定された開語彙モデルとの動的重み付けを提案する。 提案手法は,学習と推論の柔軟性をテストする実験によって検証される。
• 参考スコア（独自算出の注目度）: 15.228942895385432
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an approach for anytime continual learning (AnytimeCL) for open vocabulary image classification. The AnytimeCL problem aims to break away from batch training and rigid models by requiring that a system can predict any set of labels at any time and efficiently update and improve when receiving one or more training samples at any time. Despite the challenging goal, we achieve substantial improvements over recent methods. We propose a dynamic weighting between predictions of a partially fine-tuned model and a fixed open vocabulary model that enables continual improvement when training samples are available for a subset of a task's labels. We also propose an attention-weighted PCA compression of training features that reduces storage and computation with little impact to model accuracy. Our methods are validated with experiments that test flexibility of learning and inference. Code is available at https://github.com/jessemelpolio/AnytimeCL.
• Abstract（参考訳）: 本稿では,任意の連続学習(AnytimeCL)のためのオープン語彙画像分類手法を提案する。 AnytimeCL問題は、システムが任意のラベルセットをいつでも予測し、いつでも1つ以上のトレーニングサンプルを受け取る際に、効率的に更新および改善できることを要求することによって、バッチトレーニングと厳格なモデルから切り離すことを目的としている。 挑戦的な目標にもかかわらず、我々は最近の手法よりも大幅に改善した。 本研究では,タスクラベルのサブセットにトレーニングサンプルが利用できる場合に,部分的に微調整されたモデルと固定された開語彙モデルとの動的重み付けを提案する。 また,注意重み付きPCA圧縮により,モデル精度にほとんど影響を与えず,記憶量や計算量を削減することを提案する。 提案手法は,学習と推論の柔軟性をテストする実験によって検証される。 コードはhttps://github.com/jessemelpolio/AnytimeCLで入手できる。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Negotiated Representations for Machine Mearning Application [0.0]
  オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。 本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
  論文  参考訳（メタデータ） (2023-11-19T19:53:49Z)
• Continual Learning in Open-vocabulary Classification with Complementary Memory Systems [19.337633598158778]
  オープン語彙画像分類におけるフレキシブルで効率的な連続学習法を提案する。 サンプルのクラスが模範クラス内にあるというゼロショット推定確率を用いて、CLIPゼロショットモデルと模範モデルからの予測を組み合わせる。 また,遅延学習の原則を適応した"ツリープローブ"手法を提案し,競合精度の高い新しい例からバッチ学習線形モデルへの高速学習を実現する。
  論文  参考訳（メタデータ） (2023-07-04T01:47:34Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling [11.324407834445422]
  本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。 この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
  論文  参考訳（メタデータ） (2020-03-25T08:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。