論文の概要: Contextual Active Model Selection
- arxiv url: http://arxiv.org/abs/2207.06030v4
- Date: Sun, 09 Feb 2025 12:19:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:28:37.014954
- Title: Contextual Active Model Selection
- Title（参考訳）: 文脈アクティブモデル選択
- Authors: Xuefeng Liu, Fangfang Xia, Rick L. Stevens, Yuxin Chen,
- Abstract要約: 本稿では,ラベル付けコストを最小限に抑えつつ,事前学習したモデルを積極的に選択する手法を提案する。
目的は、ラベル要求を制限しながら予測を行う最良のモデルを適応的に選択することである。
2つの新しいコンポーネントに依存した文脈的アクティブモデル選択アルゴリズムであるCAMSを提案する。
- 参考スコア（独自算出の注目度）: 10.925932167673764
- License:
- Abstract: While training models and labeling data are resource-intensive, a wealth of pre-trained models and unlabeled data exists. To effectively utilize these resources, we present an approach to actively select pre-trained models while minimizing labeling costs. We frame this as an online contextual active model selection problem: At each round, the learner receives an unlabeled data point as a context. The objective is to adaptively select the best model to make a prediction while limiting label requests. To tackle this problem, we propose CAMS, a contextual active model selection algorithm that relies on two novel components: (1) a contextual model selection mechanism, which leverages context information to make informed decisions about which model is likely to perform best for a given context, and (2) an active query component, which strategically chooses when to request labels for data points, minimizing the overall labeling cost. We provide rigorous theoretical analysis for the regret and query complexity under both adversarial and stochastic settings. Furthermore, we demonstrate the effectiveness of our algorithm on a diverse collection of benchmark classification tasks. Notably, CAMS requires substantially less labeling effort (less than 10%) compared to existing methods on CIFAR10 and DRIFT benchmarks, while achieving similar or better accuracy. Our code is publicly available at: https://github.com/xuefeng-cs/Contextual-Active-Model-Selection.
- Abstract（参考訳）: トレーニングモデルとラベル付けデータはリソース集約的だが、事前訓練されたモデルとラベル付けされていないデータが豊富に存在する。
これらの資源を効果的に活用するために,ラベル付けコストを最小化しつつ,事前学習したモデルを積極的に選択する手法を提案する。
各ラウンドにおいて、学習者は文脈としてラベル付けされていないデータポイントを受信する。
目的は、ラベル要求を制限しながら予測を行う最良のモデルを適応的に選択することである。
この問題に対処するため,(1)文脈情報を利用した文脈モデル選択機構,(2)データポイントのラベルをいつ要求するかを戦略的に選択し,全体のラベリングコストを最小化するアクティブクエリコンポーネント,の2つの新しいコンポーネントに依存するコンテキストアクティブモデル選択アルゴリズムであるCAMSを提案する。
本稿では, 相反的条件と確率的条件の両方において, 後悔と問合せの複雑さについて厳密な理論的解析を行う。
さらに,ベンチマーク分類タスクの多種多様な集合に対するアルゴリズムの有効性を示す。
特に、CAMS は CIFAR10 や DRIFT ベンチマークの既存の手法に比べてラベル付けの労力 (10% 未満) がかなり少ない。
私たちのコードは、https://github.com/xuefeng-cs/Contextual-Active-Model-Selectionで公開されています。
関連論文リスト
- Enabling Small Models for Zero-Shot Selection and Reuse through Model Label Learning [50.68074833512999]
モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。
7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
論文 参考訳（メタデータ） (2024-08-21T09:08:26Z) - Jump-teaching: Ultra Efficient and Robust Learning with Noisy Label [6.818488262543482]
そこで本研究では,トレーニング中のラベルのずれを識別する新しい手法を提案する。
インタープレイを分離し、損失からより多くのセマンティック情報をマイニングするために、ジャンプ方式の更新を行うネットワークは1つだけです。
提案手法は, ピークメモリフットプリントの高速化, ピークメモリフットプリントの0.56タイム, 各種ノイズ設定による最先端処理よりも優れたロバスト性を実現する。
論文 参考訳（メタデータ） (2024-05-27T12:54:09Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳（メタデータ） (2024-01-23T17:22:00Z) - How Many Validation Labels Do You Need? Exploring the Design Space of
Label-Efficient Model Ranking [40.39898960460575]
本稿では,LEMR (Label-Efficient Model Ranking) を提案し,MoraBench Benchmarkを提案する。
LEMRは、未ラベルのバリデーションセットからインスタンスを戦略的にアノテートすることで、モデル選択におけるコストのかかるアノテーションの必要性を最小限にする新しいフレームワークである。
論文 参考訳（メタデータ） (2023-12-04T04:20:38Z) - GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳（メタデータ） (2023-11-16T06:28:05Z) - Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
弱監督タスクのための単純だが強力なラベル付けモデルを提案する。
次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。
その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
論文 参考訳（メタデータ） (2022-11-13T17:57:07Z) - Active metric learning and classification using similarity queries [21.589707834542338]
本稿では、キーコンポーネントが類似性を反映したデータの表現を学習している問題に対して、新しい統合クエリフレームワークを適用することができることを示す。
提案手法の有効性を,アクティブなメトリック学習とアクティブな分類という2つの課題で実証する。
論文 参考訳（メタデータ） (2022-02-04T03:34:29Z) - Multiple-criteria Based Active Learning with Fixed-size Determinantal
Point Processes [43.71112693633952]
本稿では,情報性,代表性,多様性の3つの相補的基準を取り入れた,複数基準に基づく能動学習アルゴリズムを提案する。
提案手法は,他の複数基準のALアルゴリズムよりも性能が優れ,安定であることを示す。
論文 参考訳（メタデータ） (2021-07-04T13:22:54Z) - A linearized framework and a new benchmark for model selection for
fine-tuning [112.20527122513668]
異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。
モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。
我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
論文 参考訳（メタデータ） (2021-01-29T21:57:15Z) - Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。
我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
論文 参考訳（メタデータ） (2020-10-19T19:53:15Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。