論文の概要: Retrofitting Structure-aware Transformer Language Model for End Tasks

• arxiv url: http://arxiv.org/abs/2009.07408v1
• Date: Wed, 16 Sep 2020 01:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:44:52.953073
• Title: Retrofitting Structure-aware Transformer Language Model for End Tasks
• Title（参考訳）: エンドタスクのための構造認識型トランスフォーマー言語モデル
• Authors: Hao Fei and Yafeng Ren and Donghong Ji
• Abstract要約: エンドタスクを容易にするための構造対応トランスフォーマー言語モデルについて検討する。 中層構造学習戦略は構造統合に活用される。 実験結果から, 再構成構造対応トランスフォーマー言語モデルにより, パープレキシティが向上することが確認された。
• 参考スコア（独自算出の注目度）: 34.74181162627023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider retrofitting structure-aware Transformer-based language model for facilitating end tasks by proposing to exploit syntactic distance to encode both the phrasal constituency and dependency connection into the language model. A middle-layer structural learning strategy is leveraged for structure integration, accomplished with main semantic task training under multi-task learning scheme. Experimental results show that the retrofitted structure-aware Transformer language model achieves improved perplexity, meanwhile inducing accurate syntactic phrases. By performing structure-aware fine-tuning, our model achieves significant improvements for both semantic- and syntactic-dependent tasks.
• Abstract（参考訳）: 本稿では,構文的距離を利用して言語モデルに係り受け関係をエンコードし,構造を意識したトランスフォーマーに基づく言語モデルを提案する。 中層構造学習戦略は構造統合に活用され,マルチタスク学習方式下でのメインセマンティックタスクトレーニングによって実現される。 実験結果から, 構造認識型トランスフォーマー言語モデルでは, 精度が向上する一方, 正確な構文的フレーズが誘導されることがわかった。 構造を意識した微調整を行うことで,意味的タスクと構文的タスクの両方において大幅な改善が達成される。

関連論文リスト

• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Punctuation Restoration Improves Structure Understanding without Supervision [6.4736137270915215]
  学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。 句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
  論文  参考訳（メタデータ） (2024-02-13T11:22:52Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。