論文の概要: Assessing the Capacity of Transformer to Abstract Syntactic Representations: A Contrastive Analysis Based on Long-distance Agreement

• arxiv url: http://arxiv.org/abs/2212.04523v1
• Date: Thu, 8 Dec 2022 19:10:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:55:24.127752
• Title: Assessing the Capacity of Transformer to Abstract Syntactic Representations: A Contrastive Analysis Based on Long-distance Agreement
• Title（参考訳）: 抽象構文表現へのトランスフォーマーの能力評価--長距離合意に基づく対比分析
• Authors: Bingzhi Li, Guillaume Wisniewski, Beno\^it Crabb\'e
• Abstract要約: 長距離契約は、ニューラルネットワークモデルの構文的一般化を評価するために、ますます使われている。 多くの研究から、トランスフォーマーは様々な合意タスクにおいて高い精度で実行可能であることが示されている。 この研究は、2つの超現実的に類似しているが理論的に異なる一致現象を扱う方法とは対照的である。
• 参考スコア（独自算出の注目度）: 4.995343972237368
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The long-distance agreement, evidence for syntactic structure, is increasingly used to assess the syntactic generalization of Neural Language Models. Much work has shown that transformers are capable of high accuracy in varied agreement tasks, but the mechanisms by which the models accomplish this behavior are still not well understood. To better understand transformers' internal working, this work contrasts how they handle two superficially similar but theoretically distinct agreement phenomena: subject-verb and object-past participle agreement in French. Using probing and counterfactual analysis methods, our experiments show that i) the agreement task suffers from several confounders which partially question the conclusions drawn so far and ii) transformers handle subject-verb and object-past participle agreements in a way that is consistent with their modeling in theoretical linguistics.
• Abstract（参考訳）: 構文構造の証拠である長距離合意は、ニューラルネットワークモデルの構文一般化を評価するためにますます用いられる。 多くの研究により、トランスフォーマーは様々な合意タスクにおいて高い精度を発揮することが示されているが、モデルがこの振る舞いを達成するメカニズムはまだよく分かっていない。 トランスフォーマーの内部動作をよりよく理解するために、この研究は、表面的に類似しているが理論的に異なる2つの合意現象、すなわちフランス語における主観的バーブと客観的パーシプルの合意を扱う方法とを対比している。 調査法と反事実分析法を用いて 一 これまでの結論に部分的に疑問を呈する複数の共同設立者 二 トランスフォーマは、理論的言語学におけるそのモデリングと整合する方法で、主観的及び対象的部分的合意を扱う。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Visual Comparison of Language Model Adaptation [55.92129223662381]
  アダプタは、モデル適応のための軽量な代替品です。 本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。 例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-08-17T09:25:28Z)
• Are Transformers a Modern Version of ELIZA? Observations on French Object Verb Agreement [5.448283690603357]
  簡単な表面で,この合意作業において高い精度を達成できることが示される。 長範囲のフランス語オブジェクトバーブ合意における結果のきめ細かい分析は、LSTMとは対照的に、トランスフォーマーは非自明な文法構造を捉えることができることを示している。
  論文  参考訳（メタデータ） (2021-09-21T12:33:11Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention [4.103438743479001]
  主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。 動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
  論文  参考訳（メタデータ） (2021-04-26T20:46:54Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
  文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。 このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
  論文  参考訳（メタデータ） (2021-04-15T16:30:31Z)
• Assessing Phrasal Representation and Composition in Transformers [13.460125148455143]
  ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。 本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。 これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
  論文  参考訳（メタデータ） (2020-10-08T04:59:39Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。