論文の概要: Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition

• arxiv url: http://arxiv.org/abs/2602.19385v1
• Date: Sun, 22 Feb 2026 23:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.618189
• Title: Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition
• Title（参考訳）: マルチアームバンドを用いた適応的データ拡張:不特定パターン認識のためのサンプル効率な埋め込みキャリブレーション
• Authors: Minxue Tang, Yangyang Yu, Aolin Ding, Maziyar Baran Pouyan, Taha Belkhouja Yujia Bao,
• Abstract要約: ADAMABは、数ショットパターン認識のための効率的な埋め込みキャリブレーションフレームワークである。 実験の結果,ADAMABの精度は最大40%向上した。
• 参考スコア（独自算出の注目度）: 4.925395861476509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognizing implicit visual and textual patterns is essential in many real-world applications of modern AI. However, tackling long-tail pattern recognition tasks remains challenging for current pre-trained foundation models such as LLMs and VLMs. While finetuning pre-trained models can improve accuracy in recognizing implicit patterns, it is usually infeasible due to a lack of training data and high computational overhead. In this paper, we propose ADAMAB, an efficient embedding calibration framework for few-shot pattern recognition. To maximally reduce the computational costs, ADAMAB trains embedder-agnostic light-weight calibrators on top of fixed embedding models without accessing their parameters. To mitigate the need for large-scale training data, we introduce an adaptive data augmentation strategy based on the Multi-Armed Bandit (MAB) mechanism. With a modified upper confidence bound algorithm, ADAMAB diminishes the gradient shifting and offers theoretically guaranteed convergence in few-shot training. Our multi-modal experiments justify the superior performance of ADAMAB, with up to 40% accuracy improvement when training with less than 5 initial data samples of each class.
• Abstract（参考訳）: 現代のAIの現実的な応用の多くにおいて、暗黙の視覚的パターンとテキスト的パターンを認識することが不可欠である。 しかし、LLMやVLMのような既存のトレーニング済み基礎モデルでは、ロングテールパターン認識タスクに対処することは依然として困難である。 事前訓練されたモデルを微調整することで暗黙のパターンを認識する精度が向上するが、トレーニングデータの欠如と高い計算オーバーヘッドのため、通常は実現不可能である。 本稿では,数ショットパターン認識のための効率的な埋め込みキャリブレーションフレームワークであるADAMABを提案する。 計算コストを最大限に削減するため、ADAMABはパラメータにアクセスすることなく、固定埋め込みモデルの上に埋め込み非依存の軽量キャリブレータを配置した。 大規模トレーニングデータの必要性を軽減するため,MAB(Multi-Armed Bandit)機構に基づく適応型データ拡張戦略を導入する。 修正された上限有界アルゴリズムにより、ADAMABは勾配シフトを減少させ、数発の訓練において理論上は収束が保証される。 マルチモーダル実験はADAMABの優れた性能を正当化し,各クラスの初期データサンプルを5つ未満でトレーニングした場合,最大40%の精度向上を実現した。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• On-the-Fly Guidance Training for Medical Image Registration [14.309599960641242]
  本研究は,既存の学習ベース画像登録モデルを改善するための新しいトレーニングフレームワークであるOn-the-Fly Guidance(OFG)を紹介する。 本手法では,ラベル付きデータを必要としない登録モデルをトレーニングするための教師付き手法を提案する。 提案手法は,複数のベンチマークデータセットおよび先行モデルでテストされ,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-29T11:12:53Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models [9.496524884855559]
  本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。 漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。 実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-02-26T21:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。