論文の概要: Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP

• arxiv url: http://arxiv.org/abs/2009.07411v1
• Date: Wed, 16 Sep 2020 01:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:56:07.484330
• Title: Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP
• Title（参考訳）: Mimic and Conquer:Syntactic NLPのための不均一木構造蒸留
• Authors: Hao Fei and Yafeng Ren and Donghong Ji
• Abstract要約: 本稿では,多種構造知識を一貫した逐次LSTMエンコーダに統合する,シンプルで効果的な知識蒸留法について検討する。 4つの典型的な構文依存タスクに対する実験結果から,本手法は多種多様な構造構文を効果的に統合することにより木エンコーダよりも優れ,一方でエラーの伝播を低減し,効率と精度の両面でアンサンブル手法より優れていた。
• 参考スコア（独自算出の注目度）: 34.74181162627023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Syntax has been shown useful for various NLP tasks, while existing work mostly encodes singleton syntactic tree using one hierarchical neural network. In this paper, we investigate a simple and effective method, Knowledge Distillation, to integrate heterogeneous structure knowledge into a unified sequential LSTM encoder. Experimental results on four typical syntax-dependent tasks show that our method outperforms tree encoders by effectively integrating rich heterogeneous structure syntax, meanwhile reducing error propagation, and also outperforms ensemble methods, in terms of both the efficiency and accuracy.
• Abstract（参考訳）: 構文は様々なnlpタスクに有用であることが示されているが、既存の作業では1つの階層的ニューラルネットワークを使用してシングルトン構文木をエンコードしている。 本稿では,多種構造知識を一貫した逐次LSTMエンコーダに統合する,シンプルで効果的な知識蒸留法について検討する。 4つの典型的な構文依存タスクの実験結果から,本手法は木エンコーダの効率と精度の両方において,誤り伝播を低減しつつ,構造構文を効率的に統合することにより,木エンコーダよりも優れることがわかった。

関連論文リスト

• Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
  微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
  論文  参考訳（メタデータ） (2023-06-01T14:46:34Z)
• Parallel Tree Kernel Computation [0.0]
  2つの有限木からなる木核の計算のための逐次アルゴリズムの並列実装を考案する。 その結果,提案した並列アルゴリズムは遅延の点で逐次アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-12T18:16:45Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)
• Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs [26.983602540576275]
  シーケンスベースのニューラルネットワークは、構文構造に対してかなりの感度を示すが、それでも木ベースのネットワークよりも構文上のタスクではうまく機能しない。 これら2つの表現スキームのどちらが構文構造に対するバイアスをより効果的に導入するかを評価する。 選挙区ネットワークは,依存性に基づくネットワークよりも強固に一般化し,これら2種類の構造を組み合わせることで,さらなる改善が得られないことを示す。
  論文  参考訳（メタデータ） (2020-04-30T18:00:06Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。