論文の概要: Differentiable Tree Operations Promote Compositional Generalization

• arxiv url: http://arxiv.org/abs/2306.00751v1
• Date: Thu, 1 Jun 2023 14:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:37:14.060200
• Title: Differentiable Tree Operations Promote Compositional Generalization
• Title（参考訳）: 微分木操作は構成一般化を促進する
• Authors: Paul Soulos, Edward Hu, Kate McCurdy, Yunmo Chen, Roland Fernandez, Paul Smolensky, Jianfeng Gao
• Abstract要約: 微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
• 参考スコア（独自算出の注目度）: 106.59434079287661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of structure-to-structure transformation tasks, learning sequences of discrete symbolic operations poses significant challenges due to their non-differentiability. To facilitate the learning of these symbolic sequences, we introduce a differentiable tree interpreter that compiles high-level symbolic tree operations into subsymbolic matrix operations on tensors. We present a novel Differentiable Tree Machine (DTM) architecture that integrates our interpreter with an external memory and an agent that learns to sequentially select tree operations to execute the target transformation in an end-to-end manner. With respect to out-of-distribution compositional generalization on synthetic semantic parsing and language generation tasks, DTM achieves 100% while existing baselines such as Transformer, Tree Transformer, LSTM, and Tree2Tree LSTM achieve less than 30%. DTM remains highly interpretable in addition to its perfect performance.
• Abstract（参考訳）: 構造から構造への変換タスクの文脈では、離散的なシンボル操作の学習シーケンスは、その非微分性のために大きな課題を生じさせる。 これらのシンボリックシーケンスの学習を容易にするために,高レベルシンボリックツリー演算をテンソル上の部分シンボリック行列演算にコンパイルする微分可能木インタプリタを導入する。 本稿では,外部メモリとインタプリタを統合した新しい微分可能ツリーマシン(DTM)アーキテクチャと,木操作を逐次選択し,目的の変換をエンドツーエンドに実行するエージェントを提案する。 合成意味解析と言語生成タスクのアウト・オブ・ディストリビューション構成の一般化に関して、DTMは100%を達成する一方、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%未満を達成する。 DTMはその完全な性能に加えて、非常に解釈可能なままである。

関連論文リスト

• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Terminating Differentiable Tree Experts [77.2443883991608]
  本稿では,変圧器と表現生成器の組み合わせを用いて木操作を学習するニューラルシンボリック微分木機械を提案する。 まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。 また,モデルが自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:45:38Z)
• Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision [4.665860995185884]
  樹木の植え付けという新しい手法を提案する。 構文構造を明示的に生成する代わりに、一方向トランスフォーマーLMの注目重みに木を「移植」する。 Tree-Planted Transformerは、基礎となるTransformer LMの推論効率を変更することなく、SLMからトレーニング効率を継承する。
  論文  参考訳（メタデータ） (2024-02-20T03:37:24Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding [8.004425059996963]
  本稿では,高速シーケンス符号化のための汎用ニューラルモジュールであるFASTTREESを提案する。 我々の研究は、平行木誘導の概念、すなわち、並列化可能で非自己回帰的な方法で階層的帰納バイアスをモデルに与えることを探る。 我々は,FASTTREESモジュールをトランスフォーマーモデルの拡張に適用し,3つのシークエンスタスクの性能向上を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-28T03:08:06Z)
• Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
  自然および合成言語に対する文脈自由文法の生成特性をモデル化する。 潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。 また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:47:16Z)
• Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP [34.74181162627023]
  本稿では,多種構造知識を一貫した逐次LSTMエンコーダに統合する,シンプルで効果的な知識蒸留法について検討する。 4つの典型的な構文依存タスクに対する実験結果から,本手法は多種多様な構造構文を効果的に統合することにより木エンコーダよりも優れ,一方でエラーの伝播を低減し,効率と精度の両面でアンサンブル手法より優れていた。
  論文  参考訳（メタデータ） (2020-09-16T01:30:21Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。