論文の概要: Contrastive Novelty-Augmented Learning: Anticipating Outliers with Large
Language Models
- arxiv url: http://arxiv.org/abs/2211.15718v2
- Date: Fri, 26 May 2023 05:20:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 23:21:22.695930
- Title: Contrastive Novelty-Augmented Learning: Anticipating Outliers with Large
Language Models
- Title（参考訳）: 対照的なノベルティ強化学習:大言語モデルによるアウトリーチの予測
- Authors: Albert Xu, Xiang Ren, and Robin Jia
- Abstract要約: 本稿では,新しいクラスを代表するOOD例を生成する2段階の手法であるContrastive Novelty-Augmented Learning(CoNAL)を紹介し,その信頼性を低下させる訓練を行う。
CoNALで訓練すると、分類器は従来の手法よりも平均2.3%の精度で新しいクラスの例を検出し、排除する能力を向上させる。
- 参考スコア（独自算出の注目度）: 37.016804744883096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many task settings, text classification models are likely to encounter
examples from novel classes on which they cannot predict correctly. Selective
prediction, in which models abstain on low-confidence examples, provides a
possible solution, but existing models are often overly confident on unseen
classes. To remedy this overconfidence, we introduce Contrastive
Novelty-Augmented Learning (CoNAL), a two-step method that generates OOD
examples representative of novel classes, then trains to decrease confidence on
them. First, we generate OOD examples by prompting a large language model
twice: we prompt it to enumerate relevant novel classes, then generate examples
from each novel class matching the task format. Second, we train a classifier
with a novel contrastive objective that encourages lower confidence on
generated OOD examples than training examples. When trained with CoNAL,
classifiers improve in their ability to detect and abstain on novel class
examples over prior methods by an average of 2.3% in terms of accuracy under
the accuracy-coverage curve (AUAC) and 5.5% AUROC across 4 NLP datasets, with
no cost to in-distribution accuracy.
- Abstract（参考訳）: 多くのタスク設定において、テキスト分類モデルは、正しく予測できない新しいクラスの例に遭遇する可能性が高い。
モデルが低信頼の例に固執する選択的予測は、可能な解決策を提供するが、既存のモデルは、しばしば見当たらないクラスに過度に自信を持っている。
この過度な自信を補うために,新しいクラスを代表するOOD例を生成する2段階の手法であるContrastive Novelty-Augmented Learning (CoNAL)を導入し,その信頼性を低下させる訓練を行った。
まず、大きな言語モデルを2回促すことでoodの例を生成します。 関連する新規クラスを列挙するように促し、タスクフォーマットにマッチする各新規クラスから例を生成します。
第2に,ood生成例に対する信頼度をトレーニング例よりも低くする,新しい対照目的を持った分類器を訓練する。
CoNALで訓練すると、分類器は4つのNLPデータセットにまたがる精度曲線(AUAC)と5.5%のAUROCで平均2.3%の精度で、従来の手法よりも新しいクラスのサンプルを検出して吸収する能力を向上する。
関連論文リスト
- Liberating Seen Classes: Boosting Few-Shot and Zero-Shot Text Classification via Anchor Generation and Classification Reframing [38.84431954053434]
短いショットとゼロショットのテキスト分類は、ラベル付きサンプルやラベル付きサンプルが全くない新しいクラスからのサンプルを認識することを目的としている。
少数ショットとゼロショットのテキスト分類のためのシンプルで効果的な戦略を提案する。
論文 参考訳（メタデータ） (2024-05-06T15:38:32Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Improving Few-Shot Performance of Language Models via Nearest Neighbor
Calibration [12.334422701057674]
In-context Learning のための近辺校正フレームワークを提案する。
インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。
テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
論文 参考訳（メタデータ） (2022-12-05T12:49:41Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳（メタデータ） (2022-10-10T11:05:21Z) - Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。
ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
論文 参考訳（メタデータ） (2022-09-29T19:26:23Z) - Language Models in the Loop: Incorporating Prompting into Weak
Supervision [11.10422546502386]
本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。
典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
論文 参考訳（メタデータ） (2022-05-04T20:42:40Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳（メタデータ） (2021-03-31T09:05:43Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。