論文の概要: Geometry-Aware Adaptation for Pretrained Models

• arxiv url: http://arxiv.org/abs/2307.12226v2
• Date: Tue, 28 Nov 2023 04:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 15:23:03.703639
• Title: Geometry-Aware Adaptation for Pretrained Models
• Title（参考訳）: 事前学習モデルに対する幾何認識適応
• Authors: Nicholas Roberts, Xintong Li, Dyah Adila, Sonia Cromp, Tzu-Heng Huang, Jitian Zhao, Frederic Sala
• Abstract要約: 本稿では、argmaxをFr'echet平均に置き換え、標準予測規則のドロップイン置換を提案する。 提案したアプローチであるLokiは、ImageNet上のSimCLRよりも29.7%向上しています。 そのような指標が得られない場合、Lokiはクラス埋め込みから自己派生メトリクスを使用でき、事前訓練されたゼロショットモデルの10.5%の改善が得られる。
• 参考スコア（独自算出の注目度）: 15.715395029966812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models -- including prominent zero-shot models -- are often trained on datasets whose labels are only a small proportion of a larger label space. Such spaces are commonly equipped with a metric that relates the labels via distances between them. We propose a simple approach to exploit this information to adapt the trained model to reliably predict new classes -- or, in the case of zero-shot prediction, to improve its performance -- without any additional training. Our technique is a drop-in replacement of the standard prediction rule, swapping argmax with the Fr\'echet mean. We provide a comprehensive theoretical analysis for this approach, studying (i) learning-theoretic results trading off label space diameter, sample complexity, and model dimension, (ii) characterizations of the full range of scenarios in which it is possible to predict any unobserved class, and (iii) an optimal active learning-like next class selection procedure to obtain optimal training classes for when it is not possible to predict the entire range of unobserved classes. Empirically, using easily-available external metrics, our proposed approach, Loki, gains up to 29.7% relative improvement over SimCLR on ImageNet and scales to hundreds of thousands of classes. When no such metric is available, Loki can use self-derived metrics from class embeddings and obtains a 10.5% improvement on pretrained zero-shot models such as CLIP.
• Abstract（参考訳）: 著名なゼロショットモデルを含む機械学習モデルは、ラベルがより大きなラベル空間のごく一部に過ぎないデータセットでトレーニングされることが多い。そのような空間は、ラベルを距離で関連付けるメトリクスを備えている。我々は、トレーニングされたモデルを使って新しいクラスを確実に予測したり、ゼロショット予測の場合、追加のトレーニングなしでパフォーマンスを改善するための単純なアプローチを提案する。 我々の手法は標準予測規則のドロップイン置換であり、argmaxをfr\'echet平均に置き換える。 このアプローチを包括的に理論的に分析し (i)ラベル空間の直径、サンプルの複雑さ、モデル次元を交換する学習理論的結果 (ii)観測されていないクラスを予測できるシナリオの全範囲の特徴、および (iii)非観察クラス全体の予測ができない場合に最適なトレーニングクラスを得るための最適アクティブラーニング型次類選択手順。 経験的に、簡単に利用できる外部メトリクスを使用することで、提案手法であるlokiは、imagenetのsimclrよりも29.7%改善され、数十万のクラスにスケールできる。 そのようなメトリクスが利用できない場合、Lokiはクラス埋め込みから自己派生メトリクスを使用でき、CLIPのような事前訓練されたゼロショットモデルで10.5%改善される。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Towards An Online Incremental Approach to Predict Students Performance [0.8287206589886879]
  本稿では,オンライン分類器を更新するためのメモリベースのオンラインインクリメンタル学習手法を提案する。 提案手法は,現在の最先端技術と比較して10%近く向上し,モデル精度の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-05-03T17:13:26Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Continual Learning in Open-vocabulary Classification with Complementary Memory Systems [19.337633598158778]
  オープン語彙画像分類におけるフレキシブルで効率的な連続学習法を提案する。 サンプルのクラスが模範クラス内にあるというゼロショット推定確率を用いて、CLIPゼロショットモデルと模範モデルからの予測を組み合わせる。 また,遅延学習の原則を適応した"ツリープローブ"手法を提案し,競合精度の高い新しい例からバッチ学習線形モデルへの高速学習を実現する。
  論文  参考訳（メタデータ） (2023-07-04T01:47:34Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• GMM-IL: Image Classification using Incrementally Learnt, Independent Probabilistic Models for Small Sample Sizes [0.4511923587827301]
  本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。 我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
  論文  参考訳（メタデータ） (2022-12-01T15:19:42Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift [27.806085423595334]
  非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。 我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。 Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-10T15:19:52Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。