論文の概要: Cost-Effective Online Contextual Model Selection

• arxiv url: http://arxiv.org/abs/2207.06030v1
• Date: Wed, 13 Jul 2022 08:22:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 11:57:38.682366
• Title: Cost-Effective Online Contextual Model Selection
• Title（参考訳）: コスト効果のあるオンライン文脈モデル選択
• Authors: Xuefeng Liu, Fangfang Xia, Rick L. Stevens, Yuxin Chen
• Abstract要約: 我々は,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。 目標は、ラベルの過剰な量を得ることなく、任意のコンテキストに対して最良のモデルを出力することである。 本稿では,適応モデル選択のためのポリシークラスに定義された新しい不確実性サンプリングクエリ基準に依存する,文脈型アクティブモデル選択アルゴリズム(CAMS)を提案する。
• 参考スコア（独自算出の注目度）: 14.094350329970537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can we collect the most useful labels to learn a model selection policy, when presented with arbitrary heterogeneous data streams? In this paper, we formulate this task as an online contextual active model selection problem, where at each round the learner receives an unlabeled data point along with a context. The goal is to output the best model for any given context without obtaining an excessive amount of labels. In particular, we focus on the task of selecting pre-trained classifiers, and propose a contextual active model selection algorithm (CAMS), which relies on a novel uncertainty sampling query criterion defined on a given policy class for adaptive model selection. In comparison to prior art, our algorithm does not assume a globally optimal model. We provide rigorous theoretical analysis for the regret and query complexity under both adversarial and stochastic settings. Our experiments on several benchmark classification datasets demonstrate the algorithm's effectiveness in terms of both regret and query complexity. Notably, to achieve the same accuracy, CAMS incurs less than 10% of the label cost when compared to the best online model selection baselines on CIFAR10.
• Abstract（参考訳）: 任意の異種データストリームを提示した場合、モデル選択ポリシーを学ぶために最も有用なラベルをどうやって収集できるのか? 本稿では,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。 目標は、過度のラベルを得ることなく、任意のコンテキストに対して最適なモデルを出力することです。 特に,事前学習された分類器の選択課題に着目し,適応型モデル選択のために与えられたポリシークラス上で定義された新しい不確実性サンプリングクエリ基準に依存する文脈アクティブモデル選択アルゴリズム(cams)を提案する。 先行技術と比較して,本アルゴリズムはグローバル最適モデルを仮定しない。 我々は,後悔と問合せの複雑さについて,逆境と確率的設定の両方において厳密な理論的解析を行う。 いくつかのベンチマーク分類データセットに対する実験は、後悔とクエリの複雑さの両方の観点からアルゴリズムの有効性を示す。 同じ精度を達成するために、CAMSはCIFAR10の最高のオンラインモデル選択ベースラインと比較して、ラベルコストの10%未満を発生させる。

関連論文リスト

• Enabling Small Models for Zero-Shot Selection and Reuse through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Jump-teaching: Ultra Efficient and Robust Learning with Noisy Label [6.818488262543482]
  そこで本研究では,トレーニング中のラベルのずれを識別する新しい手法を提案する。 インタープレイを分離し、損失からより多くのセマンティック情報をマイニングするために、ジャンプ方式の更新を行うネットワークは1つだけです。 提案手法は, ピークメモリフットプリントの高速化, ピークメモリフットプリントの0.56タイム, 各種ノイズ設定による最先端処理よりも優れたロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-05-27T12:54:09Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• How Many Validation Labels Do You Need? Exploring the Design Space of Label-Efficient Model Ranking [40.39898960460575]
  本稿では,LEMR (Label-Efficient Model Ranking) を提案し,MoraBench Benchmarkを提案する。 LEMRは、未ラベルのバリデーションセットからインスタンスを戦略的にアノテートすることで、モデル選択におけるコストのかかるアノテーションの必要性を最小限にする新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-12-04T04:20:38Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Active metric learning and classification using similarity queries [21.589707834542338]
  本稿では、キーコンポーネントが類似性を反映したデータの表現を学習している問題に対して、新しい統合クエリフレームワークを適用することができることを示す。 提案手法の有効性を,アクティブなメトリック学習とアクティブな分類という2つの課題で実証する。
  論文  参考訳（メタデータ） (2022-02-04T03:34:29Z)
• Multiple-criteria Based Active Learning with Fixed-size Determinantal Point Processes [43.71112693633952]
  本稿では,情報性,代表性,多様性の3つの相補的基準を取り入れた,複数基準に基づく能動学習アルゴリズムを提案する。 提案手法は,他の複数基準のALアルゴリズムよりも性能が優れ,安定であることを示す。
  論文  参考訳（メタデータ） (2021-07-04T13:22:54Z)
• A linearized framework and a new benchmark for model selection for fine-tuning [112.20527122513668]
  異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。 モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。 我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
  論文  参考訳（メタデータ） (2021-01-29T21:57:15Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。