論文の概要: ASPEST: Bridging the Gap Between Active Learning and Selective Prediction

• arxiv url: http://arxiv.org/abs/2304.03870v2
• Date: Wed, 14 Jun 2023 04:10:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 01:27:08.613443
• Title: ASPEST: Bridging the Gap Between Active Learning and Selective Prediction
• Title（参考訳）: aspest: アクティブラーニングと選択的予測のギャップを埋める
• Authors: Jiefeng Chen, Jinsung Yoon, Sayna Ebrahimi, Sercan Arik, Somesh Jha, Tomas Pfister
• Abstract要約: 我々は、選択的予測とアクティブな学習を橋渡しし、アクティブな選択予測と呼ばれる新しい学習パラダイムを提案する。 提案手法は,選択的予測と能動的学習における先行研究を著しく上回ることができる。
• 参考スコア（独自算出の注目度）: 55.861380125632344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective prediction aims to learn a reliable model that abstains from making predictions when the model uncertainty is high. These predictions can then be deferred to a human expert for further evaluation. In many real-world scenarios, the distribution of test data is different from the training data. This results in more inaccurate predictions, necessitating increased human labeling, which can be difficult and expensive. Active learning circumvents this by only querying the most informative examples and, in several cases, has been shown to lower the overall labeling effort. In this work, we bridge selective prediction and active learning, proposing a new learning paradigm called active selective prediction which learns to query more informative samples from the shifted target domain while increasing accuracy and coverage. For this new problem, we propose a simple but effective solution, ASPEST, that utilizes ensembles of model snapshots with self-training with their aggregated outputs as pseudo labels. Extensive experiments on numerous image, text and structured datasets, particularly those suffer from domain shifts, demonstrate that our proposed method can significantly outperform prior work on selective prediction and active learning (e.g. on the MNIST$\to$SVHN benchmark with the labeling budget of $100$, ASPEST improves the AUC metric from $79.36\%$ to $88.84\%$) and achieves more optimal utilization of humans in the loop.
• Abstract（参考訳）: 選択的予測は、モデルの不確実性が高い場合の予測を省略する信頼できるモデルを学ぶことを目的としている。 これらの予測は、さらなる評価のために人間の専門家に延期することができる。 多くの実世界のシナリオでは、テストデータの分布はトレーニングデータとは異なる。 これにより、より不正確な予測が行われ、人間のラベル付けが複雑でコストがかかる。 アクティブラーニングは、最も有益な例のみを問うことでこれを回避し、いくつかのケースでは、全体的なラベル付けの労力を減らすことが示されている。 そこで本研究では,選択予測とアクティブラーニングを橋渡しし,移動対象領域からより有意義なサンプルをクエリし,精度とカバレッジを高めた新しい学習パラダイムであるactive selective predictionを提案する。 この新たな問題に対して,モデルスナップショットのアンサンブルと,集約された出力を擬似ラベルとして自己学習する,シンプルで効果的なソリューションであるASPESTを提案する。 多くの画像、テキスト、構造化データセット、特にドメインシフトに苦しむデータセットに関する広範な実験は、提案手法が選択的予測とアクティブラーニング(例えば、100ドルのラベル付け予算でmnist$\to$svhnベンチマークで)の以前の作業を大きく上回ることを実証し、aucメトリックを79.36\%から8.84.%$に改善し、ループ内で人間の最適な利用を達成する。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
  我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。 本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。 我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
  論文  参考訳（メタデータ） (2022-03-29T17:42:04Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes [78.23907801786827]
  提案手法は,コストに配慮した手法と,部分的にラベル付けされたシーンを通じて詳細なサンプル選択を可能にする一般化を導入している。 実世界の大規模自動運転データセットに関する我々の実験は、微粒な選択が知覚、予測、下流計画タスクのパフォーマンスを向上させることを示唆している。
  論文  参考訳（メタデータ） (2021-04-08T17:57:41Z)
• A framework for predicting, interpreting, and improving Learning Outcomes [0.0]
  本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。 ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
  論文  参考訳（メタデータ） (2020-10-06T11:22:27Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。