論文の概要: Text Classification with Few Examples using Controlled Generalization

• arxiv url: http://arxiv.org/abs/2005.08469v1
• Date: Mon, 18 May 2020 06:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:29:38.742725
• Title: Text Classification with Few Examples using Controlled Generalization
• Title（参考訳）: 制御一般化を用いた少数の例によるテキスト分類
• Authors: Abhijit Mahabal, Jason Baldridge, Burcu Karagol Ayan, Vincent Perot, Dan Roth
• Abstract要約: 現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
• 参考スコア（独自算出の注目度）: 58.971750512415134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data for text classification is often limited in practice, especially for applications with many output classes or involving many related classification problems. This means classifiers must generalize from limited evidence, but the manner and extent of generalization is task dependent. Current practice primarily relies on pre-trained word embeddings to map words unseen in training to similar seen ones. Unfortunately, this squishes many components of meaning into highly restricted capacity. Our alternative begins with sparse pre-trained representations derived from unlabeled parsed corpora; based on the available training data, we select features that offers the relevant generalizations. This produces task-specific semantic vectors; here, we show that a feed-forward network over these vectors is especially effective in low-data scenarios, compared to existing state-of-the-art methods. By further pairing this network with a convolutional neural network, we keep this edge in low data scenarios and remain competitive when using full training sets.
• Abstract（参考訳）: テキスト分類のためのトレーニングデータは、多くの場合、特に多くの出力クラスや関連する分類問題を含むアプリケーションで制限される。 つまり、分類器は限られた証拠から一般化しなければならないが、一般化の方法と範囲はタスク依存である。 現在の慣行は、主に事前訓練済みの単語埋め込みを使用して、見慣れない単語を類似した単語にマッピングする。 残念なことに、これは多くの意味のコンポーネントを非常に制限された能力に分解する。 我々の代替案は、ラベルのない構文解析コーパスから派生したスパース事前学習表現から始まり、利用可能なトレーニングデータに基づいて、関連する一般化を提供する特徴を選択する。 ここでは、これらのベクトル上のフィードフォワードネットワークは、既存の最先端手法と比較して、特に低データシナリオにおいて有効であることを示す。 このネットワークと畳み込みニューラルネットワークをさらに組み合わせることで、このエッジを低いデータシナリオに保ち、完全なトレーニングセットを使用する場合の競争力を維持します。

関連論文リスト

• Why Fine-grained Labels in Pretraining Benefit Generalization? [12.171634061370616]
  近年の研究では、詳細なラベル付きデータでディープニューラルネットワークを事前トレーニングし、粗ラベル付きデータで微調整すると、粗ラベル付きデータで事前トレーニングするよりもより優れた一般化が得られることが示されている。 本稿では,入力データ分布を限定する階層的マルチビュー構造を導入することで,このギャップに対処する。 1)粗粒度事前学習はニューラルネットワークが共通の特徴をうまく学習するのに対して,2)粗粒度事前学習は,一般的な特徴に加えて稀な特徴をネットワークが学習するのに役立つため,ハードダウンストリームテストサンプルの精度が向上する。
  論文  参考訳（メタデータ） (2024-10-30T15:41:30Z)
• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Semi-Supervised Learning using Siamese Networks [3.492636597449942]
  本研究は,シームズネットワークを用いた類似度関数学習に基づく,半教師付き学習の新しい学習方法を提案する。 ラベルのないインスタンスの信頼性予測は、シームズネットワークを再トレーニングするための真のラベルとして使用される。 ラベルのない予測を改善するため,グローバルな一貫性を備えた局所学習も評価した。
  論文  参考訳（メタデータ） (2021-09-02T09:06:35Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• TF-CR: Weighting Embeddings for Text Classification [6.531659195805749]
  本稿では,単語埋め込みの計算において,高頻度のカテゴリー排他語を重み付け可能な新しい重み付け方式TF-CRを提案する。 16の分類データセットの実験はTF-CRの有効性を示し、既存の重み付け方式よりもパフォーマンススコアが向上した。
  論文  参考訳（メタデータ） (2020-12-11T19:23:28Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。