論文の概要: Transductive Learning for Textual Few-Shot Classification in API-based Embedding Models

• arxiv url: http://arxiv.org/abs/2310.13998v1
• Date: Sat, 21 Oct 2023 12:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:08:40.782987
• Title: Transductive Learning for Textual Few-Shot Classification in API-based Embedding Models
• Title（参考訳）: APIに基づく埋め込みモデルにおけるテクスチュアル・ファウショット分類のためのトランスダクティブ学習
• Authors: Pierre Colombo, Victor Pellegrain, Malik Boudiaf, Victor Storchan, Myriam Tami, Ismail Ben Ayed, Celine Hudelot, Pablo Piantanida
• Abstract要約: わずかなラベル付きデータで新しい分類タスクを実行するために、モデルをトレーニングするショットは少ない。 本稿では,事前学習したモデルの埋め込みを,計算コストとデータプライバシ制約を備えたゲートAPIを通じて提供するシナリオを紹介する。 我々はNLPコミュニティが見落としてきた学習パラダイムであるトランスダクティブ推論を提案する。
• 参考スコア（独自算出の注目度）: 46.79078308022975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proprietary and closed APIs are becoming increasingly common to process natural language, and are impacting the practical applications of natural language processing, including few-shot classification. Few-shot classification involves training a model to perform a new classification task with a handful of labeled data. This paper presents three contributions. First, we introduce a scenario where the embedding of a pre-trained model is served through a gated API with compute-cost and data-privacy constraints. Second, we propose a transductive inference, a learning paradigm that has been overlooked by the NLP community. Transductive inference, unlike traditional inductive learning, leverages the statistics of unlabeled data. We also introduce a new parameter-free transductive regularizer based on the Fisher-Rao loss, which can be used on top of the gated API embeddings. This method fully utilizes unlabeled data, does not share any label with the third-party API provider and could serve as a baseline for future research. Third, we propose an improved experimental setting and compile a benchmark of eight datasets involving multiclass classification in four different languages, with up to 151 classes. We evaluate our methods using eight backbone models, along with an episodic evaluation over 1,000 episodes, which demonstrate the superiority of transductive inference over the standard inductive setting.
• Abstract（参考訳）: プロプライエタリでクローズドなapiは、自然言語処理にますます一般的になってきており、少ないショット分類を含む、自然言語処理の実用的な応用に影響を与えている。 少数ショット分類は、一握りのラベル付きデータで新しい分類タスクを実行するためにモデルを訓練することを含む。 本稿では3つの貢献について述べる。 まず,プリトレーニングモデルの組込みが,計算コストとデータプライバシーの制約のあるゲートapiを通じて提供されるシナリオを紹介する。 第二に、NLPコミュニティが見落としてきた学習パラダイムであるトランスダクティブ推論を提案する。 帰納的推論は、従来の帰納的学習とは異なり、ラベルなしデータの統計を活用する。 また,fisher-rao損失に基づくパラメータフリーのトランスダクティブ正規化子も導入した。 この方法はラベルのないデータを完全に活用し、サードパーティのAPIプロバイダとラベルを共有せず、将来の研究のベースラインとして機能する。 第3に、最大151のクラスを持つ4つの異なる言語におけるマルチクラス分類を含む8つのデータセットのベンチマークを改良した実験的設定とコンパイルを提案する。 提案手法は8つのバックボーンモデルを用いて評価し,1000エピソード以上のエピソディック評価を行い,標準帰納的設定よりも帰納的推論が優れていることを示した。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Class-incremental Novel Class Discovery [76.35226130521758]
  クラス増進型新規クラス発見(class-iNCD)の課題について検討する。 基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。 3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-07-18T13:49:27Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Dominant Set-based Active Learning for Text Classification and its Application to Online Social Media [0.0]
  本稿では,最小限のアノテーションコストで大規模未ラベルコーパスのトレーニングを行うための,プールベースのアクティブラーニング手法を提案する。 提案手法には調整すべきパラメータが一切ないため,データセットに依存しない。 本手法は,最先端のアクティブラーニング戦略と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2022-01-28T19:19:03Z)
• Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
  本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。 クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。 提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
  論文  参考訳（メタデータ） (2022-01-04T06:55:19Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Class-Incremental Learning for Semantic Segmentation Re-Using Neither Old Data Nor Old Labels [35.586031601299034]
  本稿では,モデルが当初トレーニングしたラベル付きデータを用いることなく,セマンティックセグメンテーションのためのクラスインクリメンタル学習を実装する手法を提案する。 本稿では,新しいクラスにのみラベルを必要とする新しいクラス増分学習手法を用いて,これらの問題を克服する方法を示す。 本手法をCityscapesデータセット上で評価し,全ベースラインのmIoU性能を3.5%絶対的に上回る結果を得た。
  論文  参考訳（メタデータ） (2020-05-12T21:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。