論文の概要: Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models

• arxiv url: http://arxiv.org/abs/2307.06713v1
• Date: Thu, 13 Jul 2023 12:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 14:48:24.330265
• Title: Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたテキスト分類の事前適応による教師なし校正
• Authors: Lautaro Estienne
• Abstract要約: ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。 その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wide variety of natural language tasks are currently being addressed with large-scale language models (LLMs). These models are usually trained with a very large amount of unsupervised text data and adapted to perform a downstream natural language task using methods like fine-tuning, calibration or in-context learning. In this work, we propose an approach to adapt the prior class distribution to perform text classification tasks without the need for labelled samples and only few in-domain sample queries. The proposed approach treats the LLM as a black box, adding a stage where the model posteriors are calibrated to the task. Results show that these methods outperform the un-adapted model for different number of training shots in the prompt and a previous approach were calibration is performed without using any adaptation data.
• Abstract（参考訳）: 現在、さまざまな自然言語タスクが大規模言語モデル(llm)で処理されている。 これらのモデルは、通常、非常に大量の教師なしのテキストデータで訓練され、微調整、キャリブレーション、コンテキスト内学習などの手法を使用して下流の自然言語タスクを実行するように適合する。 そこで本研究では,ラベル付きサンプルとドメイン内サンプルクエリのみを必要とせず,テキスト分類タスクに事前クラス分布を適用する手法を提案する。 提案されたアプローチでは、llmをブラックボックスとして扱い、モデル後方をタスクに校正するステージを追加する。 提案手法は,適応データを用いずにキャリブレーションを行い,プロンプトと前回のアプローチで異なるトレーニングショット数に対して適応しないモデルよりも優れていた。

関連論文リスト

• Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
  ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。 ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。 6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
  論文  参考訳（メタデータ） (2024-10-25T09:15:54Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Irreducible Curriculum for Language Model Pretraining [46.895234111411426]
  本稿では,言語モデル事前学習のためのカリキュラム学習アルゴリズムとして,既約カリキュラムを提案する。 RedPajama-1Bデータセットに関する我々の実験は、すべての7つの領域で検証の難易度が一貫した改善を示した。
  論文  参考訳（メタデータ） (2023-10-23T22:41:33Z)
• Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models [23.881825575095945]
  大規模事前学習型言語モデル(PLM)は、微調整により自然言語理解(NLU)タスクに強い性能を示す。 しかし、微調整されたモデルは、特にドメイン外設定において、過度に自信過剰な予測に悩まされている。 本研究では,PLMがマスキング言語モデリングタスクにおいて,ドメインシフトの下で頑健な予測信頼度を有することを実証する。 事前学習した特徴の保存は、微調整言語モデルの校正を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:35:31Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Bayesian Active Learning with Pretrained Language Models [9.161353418331245]
  Active Learning (AL)は、ラベルなしデータのプールからアノテーションのためのデータを反復的に選択する手法である。 以前のALアプローチは、イテレーションごとにゼロからトレーニングされるタスク固有のモデルに制限されている。 BALM;Bayesian Active Learning with pretrained language modelを紹介します。
  論文  参考訳（メタデータ） (2021-04-16T19:07:31Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。