論文の概要: FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding

• arxiv url: http://arxiv.org/abs/2111.14031v1
• Date: Sun, 28 Nov 2021 03:08:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 09:32:35.378888
• Title: FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
• Title（参考訳）: FastTrees: より高速なシーケンスエンコーディングのための並列潜在木推論
• Authors: Bill Tuck Weng Pung, Alvin Chan
• Abstract要約: 本稿では,高速シーケンス符号化のための汎用ニューラルモジュールであるFASTTREESを提案する。 我々の研究は、平行木誘導の概念、すなわち、並列化可能で非自己回帰的な方法で階層的帰納バイアスをモデルに与えることを探る。 我々は,FASTTREESモジュールをトランスフォーマーモデルの拡張に適用し,3つのシークエンスタスクの性能向上を実現することを示す。
• 参考スコア（独自算出の注目度）: 8.004425059996963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inducing latent tree structures from sequential data is an emerging trend in the NLP research landscape today, largely popularized by recent methods such as Gumbel LSTM and Ordered Neurons (ON-LSTM). This paper proposes FASTTREES, a new general purpose neural module for fast sequence encoding. Unlike most previous works that consider recurrence to be necessary for tree induction, our work explores the notion of parallel tree induction, i.e., imbuing our model with hierarchical inductive biases in a parallelizable, non-autoregressive fashion. To this end, our proposed FASTTREES achieves competitive or superior performance to ON-LSTM on four well-established sequence modeling tasks, i.e., language modeling, logical inference, sentiment analysis and natural language inference. Moreover, we show that the FASTTREES module can be applied to enhance Transformer models, achieving performance gains on three sequence transduction tasks (machine translation, subject-verb agreement and mathematical language understanding), paving the way for modular tree induction modules. Overall, we outperform existing state-of-the-art models on logical inference tasks by +4% and mathematical language understanding by +8%.
• Abstract（参考訳）: 逐次データから潜木構造を誘導することは、今日のNLP研究の展望において、Gumbel LSTM や Ordered Neurons (ON-LSTM) といった最近の手法で広く普及している。 本稿では,高速シーケンス符号化のための汎用ニューラルネットワークFASTTREESを提案する。 再帰をツリー誘導に必要と考えるほとんどの先行研究と異なり、本研究は並列木誘導の概念、すなわち階層的帰納的バイアスを並列化可能で非自己回帰的手法でモデルに付与することを検討する。 この目的のために提案したFASTTREESは,言語モデリング,論理推論,感情分析,自然言語推論という,確立された4つのシーケンスモデリングタスクにおいて,ON-LSTMに対する競合的あるいは優れた性能を実現する。 さらに,FASTTREESモジュールをトランスフォーマーモデルの改良に適用し,3つの逐次変換タスク(機械翻訳,主語変換,数学的言語理解)の性能向上を実現し,モジュラーツリー帰納モジュールへの道を開いた。 全体として、論理推論タスクにおける既存の最先端モデルを+4%、数学的言語理解を+8%上回っている。

関連論文リスト

• Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
  誘導ヘッドngramモデル(Induction-Gram)を提案する。 この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。 実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-10-31T12:33:26Z)
• LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints [42.16663204729038]
  本稿では,MLN上で平均場変動推定を行う新しいニューラルネットワーク層LogicMPを提案する。 モジュール性と効率を保ちながら、FOLCをエンコードするために、市販のニューラルネットワークにプラグインすることができる。 グラフ、画像、テキストの3種類のタスクを経験した結果、LogicMPは、パフォーマンスと効率の両面で、先進的な競合より優れています。
  論文  参考訳（メタデータ） (2023-09-27T07:52:30Z)
• Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference [32.62084449979531]
  SortedNet を Sorted Fine-Tuning (SoFT) に置き換えることで生成 NLP タスクに拡張する。 我々のアプローチはモデル効率を向上し、推論中に様々なシナリオに対する複数のモデルの必要性を排除します。 以上の結果から,SFT+ICT(Early-Exit)と標準ファインチューニング(SFT+ICT)と比較して,サブモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-16T11:58:34Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
  微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
  論文  参考訳（メタデータ） (2023-06-01T14:46:34Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。