論文の概要: GATology for Linguistics: What Syntactic Dependencies It Knows

• arxiv url: http://arxiv.org/abs/2305.13403v1
• Date: Mon, 22 May 2023 18:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 21:09:12.371363
• Title: GATology for Linguistics: What Syntactic Dependencies It Knows
• Title（参考訳）: GATology for Linguistics:それが知っている構文依存
• Authors: Yuqian Dai, Serge Sharoff, Marc de Kamps
• Abstract要約: グラフ注意ネットワーク(英: Graph Attention Network, GAT)は、明示的な構文知識をモデル化し表現するための戦略の1つである。 GATが3つの言語の統語的知識を,注目の頭数と層数の関数として学習する方法について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Attention Network (GAT) is a graph neural network which is one of the strategies for modeling and representing explicit syntactic knowledge and can work with pre-trained models, such as BERT, in downstream tasks. Currently, there is still a lack of investigation into how GAT learns syntactic knowledge from the perspective of model structure. As one of the strategies for modeling explicit syntactic knowledge, GAT and BERT have never been applied and discussed in Machine Translation (MT) scenarios. We design a dependency relation prediction task to study how GAT learns syntactic knowledge of three languages as a function of the number of attention heads and layers. We also use a paired t-test and F1-score to clarify the differences in syntactic dependency prediction between GAT and BERT fine-tuned by the MT task (MT-B). The experiments show that better performance can be achieved by appropriately increasing the number of attention heads with two GAT layers. With more than two layers, learning suffers. Moreover, GAT is more competitive in training speed and syntactic dependency prediction than MT-B, which may reveal a better incorporation of modeling explicit syntactic knowledge and the possibility of combining GAT and BERT in the MT tasks.
• Abstract（参考訳）: Graph Attention Network(GAT)は、明示的な構文的知識をモデル化し表現するための戦略の1つであり、下流タスクでBERTのような事前訓練されたモデルを扱うことができるグラフニューラルネットワークである。 現在、GATがモデル構造の観点から統語的知識をどのように学習するかは、まだ調査されていない。 明示的な構文知識のモデル化戦略の1つとして、gatとbertは機械翻訳(mt)のシナリオで適用され議論されたことはない。 我々は,gatが3つの言語の統語的知識をどのように学習するかを,注意頭数と層数という関数として研究するために,依存関係予測タスクを設計する。 また,MTタスク(MT-B)によって微調整されたGATとBERTの構文依存性予測の違いを明らかにするために,ペアt-testとF1-scoreを用いた。 実験の結果,2つのGAT層で注意点数を適切に増やすことにより,より良い性能が得られることが示された。 2つ以上の層を持つと、学習は苦しむ。 さらに, GAT は MT-B よりも訓練速度や構文依存性の予測に競争力があり, 明示的な構文知識をモデル化し, MT タスクに GAT と BERT を組み合わせる可能性を明らかにする。

関連論文リスト

• Prompt-based vs. Fine-tuned LLMs Toward Causal Graph Verification [0.0]
  本研究の目的は,テキストソースを用いた因果グラフの自動検証に自然言語処理(NLP)技術を適用することである。 我々は,(1)因果関係分類タスク用に微調整された事前学習言語モデルと(2)プロンプトベースLPMの2種類のNLPモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-05-29T09:06:18Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification [15.932462099791307]
  SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。 SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。 以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T05:41:31Z)
• Syntactic Knowledge via Graph Attention with BERT in Machine Translation [0.0]
  本稿では,機械翻訳(MT)シナリオにおけるBERT(SGB)を用いたグラフアテンションによる構文知識を提案する。 本実験では,ゴールド構文アノテーション文と品質推定(QE)モデルを用いて翻訳品質改善の解釈可能性を得る。 実験の結果,提案するSGBエンジンはBLEUスコアを犠牲にすることなく,MTタスクの翻訳品質を向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T18:56:14Z)
• ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs [54.48467003509595]
  ChatGPTは、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを示している。 テキスト分類などの特定のタスクにChatGPTのパワーを利用する新しいフレームワークを提案する。 本手法は,従来のテキスト分類法と比較して,より透過的な意思決定プロセスを提供する。
  論文  参考訳（メタデータ） (2023-05-03T19:57:43Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。