論文の概要: Recursive Top-Down Production for Sentence Generation with Latent Trees

• arxiv url: http://arxiv.org/abs/2010.04704v1
• Date: Fri, 9 Oct 2020 17:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:31:36.609396
• Title: Recursive Top-Down Production for Sentence Generation with Latent Trees
• Title（参考訳）: 潜在木を用いた文生成のための再帰的トップダウン生産
• Authors: Shawn Tan and Yikang Shen and Timothy J. O'Donnell and Alessandro Sordoni and Aaron Courville
• Abstract要約: 自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
• 参考スコア（独自算出の注目度）: 77.56794870399288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We model the recursive production property of context-free grammars for natural and synthetic languages. To this end, we present a dynamic programming algorithm that marginalises over latent binary tree structures with $N$ leaves, allowing us to compute the likelihood of a sequence of $N$ tokens under a latent tree model, which we maximise to train a recursive neural function. We demonstrate performance on two synthetic tasks: SCAN (Lake and Baroni, 2017), where it outperforms previous models on the LENGTH split, and English question formation (McCoy et al., 2020), where it performs comparably to decoders with the ground-truth tree structure. We also present experimental results on German-English translation on the Multi30k dataset (Elliott et al., 2016), and qualitatively analyse the induced tree structures our model learns for the SCAN tasks and the German-English translation task.
• Abstract（参考訳）: 自然および合成言語に対する文脈自由文法の帰納的生産特性をモデル化する。 この目的のために我々は,潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。これにより,潜伏木モデルの下でN$のトークン列の確率を計算し,再帰的ニューラル関数を最大化することができる。 筆者らは2つの合成タスクにおいて,SCAN (Lake and Baroni, 2017) と英語質問生成 (McCoy et al., 2020) の2つの性能を示す。 また,マルチ30kデータセット(elliott et al., 2016)におけるドイツ語英訳の実験結果を提示し,モデルがスキャンタスクとドイツ語英訳タスクで学習する誘導木構造を定性的に解析する。

関連論文リスト

• Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
  投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。 近年の作業では、草稿の伐採によってこの方法が進歩している。 再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
  論文  参考訳（メタデータ） (2024-02-21T22:57:49Z)
• Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
  微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
  論文  参考訳（メタデータ） (2023-06-01T14:46:34Z)
• Structure-Unified M-Tree Coding Solver for MathWord Problem [57.825176412485504]
  従来,数式表現の2次木構造を考慮に入れたモデルでは,性能が向上した。 本稿では、出力構造を統一するために、任意のM枝(M-tree)を持つ木を適用した構造統一M-Tree符号化(S-UMCr)を提案する。 広く使われているMAWPSとMath23Kデータセットの実験結果は、SUMC-rが複数の最先端モデルを上回るだけでなく、低リソース条件下でもはるかに優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-10-22T12:20:36Z)
• Learning Tree Structures from Leaves For Particle Decay Reconstruction [0.0]
  本稿では,階層的相互作用を記述したルート木グラフを再構築するためのニューラルネットワークを提案し,その表現をLCAG(Lowest Common Ancestor Generations)行列と呼ぶ。 LCAGを葉の特徴から正確に予測することができ、最大で8ドル、最大で9.2.5%のケースは6ドルまでの葉(含む)と、シミュレーションデータセットで最大10ドルまでのツリーに対して59.7%のケースである。
  論文  参考訳（メタデータ） (2022-08-31T15:36:47Z)
• FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding [8.004425059996963]
  本稿では,高速シーケンス符号化のための汎用ニューラルモジュールであるFASTTREESを提案する。 我々の研究は、平行木誘導の概念、すなわち、並列化可能で非自己回帰的な方法で階層的帰納バイアスをモデルに与えることを探る。 我々は,FASTTREESモジュールをトランスフォーマーモデルの拡張に適用し,3つのシークエンスタスクの性能向上を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-28T03:08:06Z)
• R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling [36.61173494449218]
  本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。 我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。 また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-07-02T11:00:46Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• Constructing Taxonomies from Pretrained Language Models [52.53846972667636]
  本稿では,事前学習した言語モデルを用いて分類木(WordNetなど)を構築する手法を提案する。 我々のアプローチは2つのモジュールから構成されており、1つは親関係を予測し、もう1つはそれらの予測を木に調整する。 我々は、WordNetからサンプリングされたサブツリーでモデルをトレーニングし、重複しないWordNetサブツリーでテストする。
  論文  参考訳（メタデータ） (2020-10-24T07:16:21Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。