論文の概要: Weakly Supervised Text Classification using Supervision Signals from a Language Model

• arxiv url: http://arxiv.org/abs/2205.06604v1
• Date: Fri, 13 May 2022 12:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 13:03:31.282767
• Title: Weakly Supervised Text Classification using Supervision Signals from a Language Model
• Title（参考訳）: 言語モデルからのスーパービジョン信号を用いた弱教師付きテキスト分類
• Authors: Ziqian Zeng, Weimin Ni, Tianqing Fang, Xiang Li, Xinran Zhao and Yangqiu Song
• Abstract要約: 我々は文書自体と「この記事は[MASK]について話している」ことを組み合わせたプロンプトを設計する。 マスク付き言語モデルは[MASK]トークンの単語を生成することができる。 文書の内容を要約した生成された単語を監視信号として利用することができる。
• 参考スコア（独自算出の注目度）: 33.5830441120473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solving text classification in a weakly supervised manner is important for real-world applications where human annotations are scarce. In this paper, we propose to query a masked language model with cloze style prompts to obtain supervision signals. We design a prompt which combines the document itself and "this article is talking about [MASK]." A masked language model can generate words for the [MASK] token. The generated words which summarize the content of a document can be utilized as supervision signals. We propose a latent variable model to learn a word distribution learner which associates generated words to pre-defined categories and a document classifier simultaneously without using any annotated data. Evaluation on three datasets, AGNews, 20Newsgroups, and UCINews, shows that our method can outperform baselines by 2%, 4%, and 3%.
• Abstract（参考訳）: 人間のアノテーションが不足している現実世界のアプリケーションでは、弱い教師付きでテキスト分類を解くことが重要である。 本稿では,クローゼスタイルのプロンプトでマスク付き言語モデルに問い合わせ,監視信号を得る手法を提案する。 我々は文書自体と「この記事は[MASK]について話している」ことを組み合わせたプロンプトを設計する。 マスク言語モデルは[mask]トークンの単語を生成することができる。 文書の内容を要約した生成された単語を監視信号として利用することができる。 本稿では,生成した単語を予め定義されたカテゴリに関連づける単語分布学習者と,注釈付きデータを用いることなく文書分類器を同時に学習する潜在変数モデルを提案する。 AGNews, 20Newsgroups, UCINewsの3つのデータセットから, 本手法がベースラインを2%, 4%, 3%で上回る結果を得た。

関連論文リスト

• NextLevelBERT: Masked Language Modeling with Higher-Level Representations for Long Documents [17.94934249657174]
  NextLevelBERTはトークンではなく、テキスト埋め込みという形で高レベルの意味表現を操作するMasked Language Modelである。 次世代のマスケプド言語モデリングは、ドキュメントの長いユースケースに対処するための効果的な手法であり、セマンティック情報の詳細の必要なレベルが十分でない限り、はるかに大きな埋め込みモデルよりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2024-02-27T16:56:30Z)
• Token Prediction as Implicit Classification to Identify LLM-Generated Text [37.89852204279844]
  本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。 ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。 実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
  論文  参考訳（メタデータ） (2023-11-15T06:33:52Z)
• Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
  本論文の目的は,OVOD(Open-vocabulary Object Detection)である。 標準の2段階オブジェクト検出器アーキテクチャを採用する。 言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
  論文  参考訳（メタデータ） (2023-06-08T18:31:56Z)
• I2MVFormer: Large Language Model Generated Multi-View Document Supervision for Zero-Shot Image Classification [108.83932812826521]
  Webスケールのテキストでトレーニングされた大規模言語モデル(LLM)は、学習した知識をさまざまなタスクに再利用する素晴らしい能力を示している。 提案するモデルであるI2MVFormerは,これらのクラスビューを用いたゼロショット画像分類のためのマルチビューセマンティック埋め込みを学習する。 I2MVFormerは、教師なしセマンティック埋め込みを備えたゼロショット画像分類のための3つの公開ベンチマークデータセットに対して、最先端の新たなデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-05T14:11:36Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Generalized Funnelling: Ensemble Learning and Heterogeneous Document Embeddings for Cross-Lingual Text Classification [78.83284164605473]
  emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。 Emph Generalized Funnelling (gFun) はFunの一般化である。 gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2021-09-17T23:33:04Z)
• Text Classification Using Label Names Only: A Language Model Self-Training Approach [80.63885282358204]
  現在のテキスト分類法は、訓練データとして多くの人ラベルの文書を必要とするのが一般的である。 本モデルでは,トピック分類や感情分類を含む4つのベンチマークデータセットにおいて,約90%の精度が得られた。
  論文  参考訳（メタデータ） (2020-10-14T17:06:41Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)
• Keyphrase Extraction with Span-based Feature Representations [13.790461555410747]
  キーフレーズは、文書を特徴付ける意味メタデータを提供することができる。 キーフレーズ抽出のための3つのアプローチ: (i) 従来の2段階ランキング法、 (ii) シーケンスラベリング、 (iii) ニューラルネットワークを用いた生成。 本稿では,すべてのコンテンツトークンから直接,キーフレーズのスパン的特徴表現を抽出する新規スパンキーフレーズ抽出モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-13T09:48:31Z)
• Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text [1.6752182911522517]
  コードスイッチによる非公式テキストの感情分類のために,MultiSentiというラベル付きデータセットを提案する。 コードスイッチトされた非公式短文の感情分類のための深層学習に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-04T06:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。