論文の概要: An Exploration of Encoder-Decoder Approaches to Multi-Label Classification for Legal and Biomedical Text

• arxiv url: http://arxiv.org/abs/2305.05627v1
• Date: Tue, 9 May 2023 17:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:03:56.780785
• Title: An Exploration of Encoder-Decoder Approaches to Multi-Label Classification for Legal and Biomedical Text
• Title（参考訳）: エンコーダ・デコーダによる法的・生物医学的テキストのマルチラベル分類の試み
• Authors: Yova Kementchedjhieva and Ilias Chalkidis
• Abstract要約: マルチラベル分類のための4つの手法を比較し,エンコーダのみに基づく2つの手法と,エンコーダ-デコーダに基づく2つの手法を比較した。 その結果、エンコーダ-デコーダ法はエンコーダのみの手法よりも優れており、より複雑なデータセットに有利であることがわかった。
• 参考スコア（独自算出の注目度）: 20.100081284294973
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Standard methods for multi-label text classification largely rely on encoder-only pre-trained language models, whereas encoder-decoder models have proven more effective in other classification tasks. In this study, we compare four methods for multi-label classification, two based on an encoder only, and two based on an encoder-decoder. We carry out experiments on four datasets -two in the legal domain and two in the biomedical domain, each with two levels of label granularity- and always depart from the same pre-trained model, T5. Our results show that encoder-decoder methods outperform encoder-only methods, with a growing advantage on more complex datasets and labeling schemes of finer granularity. Using encoder-decoder models in a non-autoregressive fashion, in particular, yields the best performance overall, so we further study this approach through ablations to better understand its strengths.
• Abstract（参考訳）: マルチラベルテキスト分類の標準的な方法は、エンコーダのみの事前訓練言語モデルに依存しているが、エンコーダ-デコーダモデルは、他の分類タスクにおいてより効果的であることが証明されている。 本研究では,エンコーダのみに基づく2つの手法と,エンコーダ-デコーダに基づく2つの手法を比較した。 4つのデータセット(法律領域では2つ、生物医学領域では2つ、ラベルの粒度は2レベル)で実験を行い、常に同じ事前訓練されたモデルであるT5から出発する。 その結果、エンコーダデコーダ法はエンコーダのみのメソッドよりも優れており、より複雑なデータセットやより細かい粒度のラベリングスキームの利点が増している。 非自己回帰的な方法でエンコーダ-デコーダモデルを使用することで、全体として最高のパフォーマンスが得られるため、その強みをよりよく理解するために、アブレーションを通じてこのアプローチをさらに研究する。

関連論文リスト

• How to Make Cross Encoder a Good Teacher for Efficient Image-Text Retrieval? [99.87554379608224]
  クロスエンコーダのクロスモーダル類似度スコア分布は、二重エンコーダの結果がほぼ正常である間により集中する。 強陰性間の相対的な順序だけが有効な知識を伝達する一方、容易な負性間の順序情報はほとんど意味を持たない。 本研究では, コントラスト学習を用いて, 硬質負試料間の相対的な順序を模倣することを目的とした, コントラスト部分式蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:10:01Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Does Configuration Encoding Matter in Learning Software Performance? An Empirical Study on Encoding Schemes [5.781900408390438]
  この研究は、5つのシステム、7つのモデル、3つの符号化スキームをカバーし、105件の調査に繋がった。 ソフトウェアのパフォーマンス学習において広く使われている符号化方式,すなわちラベル,スケールラベル,ワンホット符号化を実証的に比較した。 その結果,(1)ケースで最高の符号化方式を見つけるための試行錯誤は,いくつかのモデルやシステムで最大400時間以上の時間を要する場合が多いこと,(2)スケールされたラベル符号化が異なるモデルよりも精度が低い場合,(2)スケールされたラベル符号化は一般的に最も正確な結果をもたらすこと,(3)逆に,スケールされたラベル符号化は高い傾向にあることがわかった。
  論文  参考訳（メタデータ） (2022-03-30T01:46:27Z)
• LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval [117.15862403330121]
  共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。 具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
  論文  参考訳（メタデータ） (2022-03-10T16:41:12Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Improved Multi-Stage Training of Online Attention-based Encoder-Decoder Models [20.81248613653279]
  本稿では,オンラインアテンションベースのエンコーダデコーダモデルの性能向上を目的としたマルチステージマルチタスクトレーニング手法を提案する。 3段階のアーキテクチャ粒度、文字エンコーダ、バイトペアエンコーダ(BPE)ベースのエンコーダ、アテンションデコーダに基づく3段階のトレーニングを提案する。 我々のモデルでは,小モデルと大モデルでそれぞれ5.04%と4.48%の単語誤り率(WER)をLibrispeechテストクリーンデータ上で達成している。
  論文  参考訳（メタデータ） (2019-12-28T02:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。