論文の概要: R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling

• arxiv url: http://arxiv.org/abs/2107.00967v1
• Date: Fri, 2 Jul 2021 11:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:03:38.377984
• Title: R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
• Title（参考訳）: r2d2:階層型言語モデルのための微分木に基づく再帰的トランスフォーマ
• Authors: Xiang Hu, Haitao Mi, Zujie Wen, Yafang Wang, Yi Su, Jing Zheng, Gerard de Melo
• Abstract要約: 本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。 我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 36.61173494449218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human language understanding operates at multiple levels of granularity (e.g., words, phrases, and sentences) with increasing levels of abstraction that can be hierarchically combined. However, existing deep models with stacked layers do not explicitly model any sort of hierarchical process. This paper proposes a recursive Transformer model based on differentiable CKY style binary trees to emulate the composition process. We extend the bidirectional language model pre-training objective to this architecture, attempting to predict each word given its left and right abstraction nodes. To scale up our approach, we also introduce an efficient pruned tree induction algorithm to enable encoding in just a linear number of composition steps. Experimental results on language modeling and unsupervised parsing show the effectiveness of our approach.
• Abstract（参考訳）: 人間の言語理解は、階層的に結合できる抽象レベルの増加とともに、複数のレベルの粒度(例えば、単語、句、文)で機能する。 しかし、スタック層を持つ既存の深層モデルは、いかなる階層的プロセスも明示的にモデル化しない。 本稿では、構成過程をエミュレートするために、微分可能なCKYスタイルのバイナリツリーに基づく再帰変換モデルを提案する。 我々は、双方向言語モデルの事前学習目標をこのアーキテクチャに拡張し、左右の抽象ノードから各単語を予測することを試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。 言語モデルと教師なし構文解析の実験結果は,提案手法の有効性を示している。

関連論文リスト

• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• An Expression Tree Decoding Strategy for Mathematical Equation Generation [24.131972875875952]
  既存のアプローチはトークンレベルと表現レベルの生成に大きく分類することができる。 式レベルのメソッドは、各式をひとつずつ生成する。 それぞれの表現は解決ステップを表しており、これらのステップの間には自然に平行あるいは依存的な関係が存在する。 木構造を表現レベル生成に統合し,表現木復号戦略を提唱する。
  論文  参考訳（メタデータ） (2023-10-14T17:00:28Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation [41.51966652141165]
  推論中に並列符号化が可能なモデルベースプルーニング法を提案する。 実験により,我々のFast-R2D2は,下流分類タスクにおける文法誘導および競合結果において,性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-03-01T07:54:44Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。