論文の概要: Layer-wise Guided Training for BERT: Learning Incrementally Refined Document Representations

• arxiv url: http://arxiv.org/abs/2010.05763v1
• Date: Mon, 12 Oct 2020 14:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:59:44.097015
• Title: Layer-wise Guided Training for BERT: Learning Incrementally Refined Document Representations
• Title（参考訳）: BERTの階層的指導--漸進的に書き直された文書表現の学習
• Authors: Nikolaos Manginas, Ilias Chalkidis and Prodromos Malakasiotis
• Abstract要約: 本研究では, 細管BERTの構造化手法を提案する。 具体的には、大規模マルチラベルテキスト分類(LMTC)に焦点を当てる。 我々のアプローチは、特定の階層レベルからラベルを予測するために、特定のBERT層をガイドする。
• 参考スコア（独自算出の注目度）: 11.46458298316499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although BERT is widely used by the NLP community, little is known about its inner workings. Several attempts have been made to shed light on certain aspects of BERT, often with contradicting conclusions. A much raised concern focuses on BERT's over-parameterization and under-utilization issues. To this end, we propose o novel approach to fine-tune BERT in a structured manner. Specifically, we focus on Large Scale Multilabel Text Classification (LMTC) where documents are assigned with one or more labels from a large predefined set of hierarchically organized labels. Our approach guides specific BERT layers to predict labels from specific hierarchy levels. Experimenting with two LMTC datasets we show that this structured fine-tuning approach not only yields better classification results but also leads to better parameter utilization.
• Abstract（参考訳）: BERTはNLPコミュニティで広く使われているが、内部構造についてはほとんど知られていない。 BERTの特定の側面についていくつかの試みが行われ、しばしば矛盾する結論が得られた。 BERTの過度なパラメータ化と低ユーティリティ化の問題に注目が集まっている。 この目的のために, 構造的手法による微細チューン bert に対する o の斬新なアプローチを提案する。 具体的には,大規模多言語テキスト分類(LMTC)に注目し,文書には階層的に整理された大きなラベルセットから1つ以上のラベルが割り当てられる。 我々のアプローチは特定の階層レベルからラベルを予測するために特定のbert層を導く。 2つのlmtcデータセットを実験した結果、この構造的微調整アプローチは、より良い分類結果をもたらすだけでなく、パラメータの利用率も向上することが示された。

関連論文リスト

• A Novel Two-Step Fine-Tuning Pipeline for Cold-Start Active Learning in Text Classification Tasks [7.72751543977484]
  本研究は, 寒冷開始シナリオにおけるアクティブラーニング(AL)タスクにおけるBERTベースのコンテキスト埋め込みの有効性について検討する。 私たちの主な貢献は、より堅牢な微調整パイプラインであるDoTCALの提案です。 本評価では,Bag of Words (BoW), Latent Semantic Indexing (LSI), FastTextなど,BERTベースの埋め込みと他の一般的なテキスト表現パラダイムとの対比を行った。
  論文  参考訳（メタデータ） (2024-07-24T13:50:21Z)
• Imbalanced Multi-label Classification for Business-related Text with Moderately Large Label Spaces [0.30458514384586394]
  我々は、特定の不均衡なビジネスデータセットを用いて、マルチラベルテキスト分類のための4つの異なる方法を評価した。 細調整されたBERTは、他の3つの手法よりもかなり優れており、精度の高い値が得られる。 これらの結果は,マルチラベルテキスト分類作業における細調整BERTの有効性を浮き彫りにし,企業にとって有用なツールである可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-12T11:51:50Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• GUDN A novel guide network for extreme multi-label text classification [12.975260278131078]
  本稿では,学習前のモデルを微調整し,後で分類を指示する新しいガイドネットワーク(GUDN)を構築する。 また、テキストとラベル間の潜伏空間を効果的に探索するために、生のラベルセマンティクスを使用し、予測精度をさらに向上させることができる。
  論文  参考訳（メタデータ） (2022-01-10T07:33:36Z)
• A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data [5.123298347655086]
  この研究は、テキストの文レベルの特徴を学習し、限られたデータを持つシナリオでうまく機能する、長いテキスト固有のモデル、階層型BERTモデル(HBM)を導入している。 種々の評価実験により、HBMは50から200のラベル付きインスタンスしか持たない従来の最先端手法よりも、文書分類における高い性能を達成できることが示された。
  論文  参考訳（メタデータ） (2021-06-12T10:45:24Z)
• MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
  MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。 親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。 大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-15T05:23:08Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
  変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。 本稿では,BERTの性能向上のための非常に単純な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。