論文の概要: Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars

• arxiv url: http://arxiv.org/abs/2606.16836v1
• Date: Mon, 15 Jun 2026 15:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.659748
• Title: Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars
• Title（参考訳）: トラバーサル秩序は重要か? : トランスフォーマー文法における木トラバーサル手法の体系的研究
• Authors: Zongru Liu, Pengyu Ji, Pengcheng Wang, Kewei Tu,
• Abstract要約: Transformer Grammars (TGs) は構文木構造を取り入れた言語モデリングを強化する。 既存の研究は、線形化にDepth-First Traversal (DFT) にのみ依存している。 我々は、BFT(Breadth-First Traversal)と、新しいハイブリッドトラバース戦略、Product-Rule Traversal(PRT)を探求する。 我々は、言語モデリング、構文一般化、要約におけるそれらの性能を実証的に評価する。
• 参考スコア（独自算出の注目度）: 35.50997062221377
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformer Grammars (TGs) enhance language modeling by incorporating syntactic tree structures. Despite the potentially significant impact on model performance of how syntactic trees are linearized in TGs, existing studies rely solely on Depth-First Traversal (DFT) for linearization. In this paper, we expand the traversal design space by exploring Breadth-First Traversal (BFT) and a novel hybrid traversal strategy, Production-Rule Traversal (PRT), which combines the structural lookahead of BFT with the early lexical generation of DFT. We integrate these traversal methods with varying tree configurations and masking strategies, and empirically evaluate their performance on language modeling, syntactic generalization and summarization. We reveal the inherent trade-offs between nested composition and global lookahead, providing actionable recommendations for designing task-aware Transformer Grammars.
• Abstract（参考訳）: Transformer Grammars (TGs) は構文木構造を取り入れた言語モデリングを強化する。 TGにおいて構文木がどのように線形化されるかというモデル性能に潜在的に大きな影響を与えるが、既存の研究は線形化にDepth-First Traversal (DFT) に依存している。 本稿では,BFTの構造的ルックアヘッドとDFTの初期語彙生成を組み合わせた,BFT(Breadth-First Traversal)と新しいハイブリッドトラバース戦略であるProduct-Rule Traversal(PRT)を探索することにより,トラバース設計空間を拡大する。 これらのトラバーサル手法を様々な木構成やマスキング戦略と統合し、言語モデリング、構文一般化、要約におけるそれらの性能を実証的に評価する。 ネストされた構成とグローバルなルックアヘッドの本質的にのトレードオフを明らかにし、タスク対応トランスフォーマー文法を設計するための実用的なレコメンデーションを提供する。

関連論文リスト

• Sneaking Syntax into Transformer Language Models with Tree Regularization [33.74552367356904]
  構文的帰納バイアスの導入は、トランスフォーマー言語モデルにおけるより堅牢でデータ効率のよい学習を解放する可能性がある。 ここでは,銀パースからの括弧決定を微分可能性制約の集合に変換する補助的損失関数であるTreeRegを紹介する。 TreeRegは標準のLM目標とシームレスに統合され、アーキテクチャの変更は不要である。
  論文  参考訳（メタデータ） (2024-11-28T03:27:48Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision [4.665860995185884]
  樹木の植え付けという新しい手法を提案する。 構文構造を明示的に生成する代わりに、一方向トランスフォーマーLMの注目重みに木を「移植」する。 Tree-Planted Transformerは、基礎となるTransformer LMの推論効率を変更することなく、SLMからトレーニング効率を継承する。
  論文  参考訳（メタデータ） (2024-02-20T03:37:24Z)
• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
  微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。 DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
  論文  参考訳（メタデータ） (2023-06-01T14:46:34Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。