論文の概要: Tree Transformers are an Ineffective Model of Syntactic Constituency

• arxiv url: http://arxiv.org/abs/2411.16993v1
• Date: Mon, 25 Nov 2024 23:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:07.515306
• Title: Tree Transformers are an Ineffective Model of Syntactic Constituency
• Title（参考訳）: 樹木変圧器は統語的構成の非効率モデルである
• Authors: Michael Ginn,
• Abstract要約: 言語学者は、自然言語構文の重要な側面は、言語単位を構成構造にまとめることである、と長い間考えてきた。 ツリー変換器など、選挙区に対する帰納バイアスを提供するために、いくつかの代替モデルが提案されている。 木形質変換器を用いて意味的・有用な構成構造を利用するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Linguists have long held that a key aspect of natural language syntax is the recursive organization of language units into constituent structures, and research has suggested that current state-of-the-art language models lack an inherent bias towards this feature. A number of alternative models have been proposed to provide inductive biases towards constituency, including the Tree Transformer, which utilizes a modified attention mechanism to organize tokens into constituents. We investigate Tree Transformers to study whether they utilize meaningful and/or useful constituent structures. We pretrain a large Tree Transformer on language modeling in order to investigate the learned constituent tree representations of sentences, finding little evidence for meaningful structures. Next, we evaluate Tree Transformers with similar transformer models on error detection tasks requiring constituent structure. We find that while the Tree Transformer models may slightly outperform at these tasks, there is little evidence to suggest a meaningful improvement. In general, we conclude that there is little evidence to support Tree Transformer as an effective model of syntactic constituency.
• Abstract（参考訳）: 言語学者は、自然言語構文の重要な側面は言語単位を構成構造に再帰的に整理することであり、現在の最先端の言語モデルはこの機能に固有のバイアスを欠いていることを示唆している。 トークンを構成要素に整理する修正されたアテンション機構を利用するTree Transformerなど、選挙区に対する帰納バイアスを提供するために、いくつかの代替モデルが提案されている。 木形質変換器を用いて意味的・有用な構成構造を利用するかどうかを検討する。 文の学習された構成木表現を調べるために,言語モデル上で大きな木変換器を事前訓練し,意味のある構造を示す証拠はほとんど見つからない。 次に,構成構造を必要とする誤り検出タスクに対して,類似の変圧器モデルを用いた木変換器の評価を行う。 ツリートランスフォーマーモデルはこれらのタスクでわずかに優れるかもしれないが、意味のある改善を示唆する証拠はほとんどない。 概して,ツリートランスフォーマーを統語的選挙区の効果的なモデルとして支持する証拠はほとんどない。

関連論文リスト

• TreeCoders: Trees of Transformers [0.0]
  トランスフォーマーツリーの新しいファミリーであるTreeCodersを紹介します。 トランスフォーマーはノードとして機能し、ジェネリック分類器は最高の子を選択することを学ぶ。 TreeCodersは当然、分散実装に役立ちます。
  論文  参考訳（メタデータ） (2024-11-11T18:40:04Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
  トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。 中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
  論文  参考訳（メタデータ） (2023-05-30T04:34:13Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Forming Trees with Treeformers [3.8073142980733]
  トランスフォーマーのような最先端のニューラルネットワークモデルの多くは、そのアーキテクチャに明確な階層構造を持たない。 CKYアルゴリズムにインスパイアされた汎用エンコーダモジュールであるTreeformerを紹介する。 実験では, 階層構造をトランスフォーマーに組み込むことの利点を実証した。
  論文  参考訳（メタデータ） (2022-07-14T14:39:30Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Do Syntax Trees Help Pre-trained Transformers Extract Information? [8.133145094593502]
  本稿では,情報抽出タスクにおいて,依存木を事前学習した変換器に組み込むことの有用性について検討する。 依存関係構造を組み込むための2つの異なる戦略を提案し,検討する。 それらの性能向上は,人間による注釈付き依存関係解析の可用性に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T17:17:38Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。