Fugu-MT 論文翻訳(概要): Attribution Analysis of Grammatical Dependencies in LSTMs

論文の概要: Attribution Analysis of Grammatical Dependencies in LSTMs

arxiv url: http://arxiv.org/abs/2005.00062v1
Date: Thu, 30 Apr 2020 19:19:37 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 02:53:34.939859
Title: Attribution Analysis of Grammatical Dependencies in LSTMs
Title（参考訳）: LSTMにおける文法依存の属性解析
Authors: Yiding Hao
Abstract要約: LSTM言語モデルは、構文に敏感な文法的依存関係を高い精度で捉えることが示されている。本研究は, モデルが他の名詞と区別する能力と, 数値一致におけるLSTM性能が直接相関していることを示す。この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。
参考スコア（独自算出の注目度）: 0.043512163406551986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LSTM language models have been shown to capture syntax-sensitive grammatical dependencies such as subject-verb agreement with a high degree of accuracy (Linzen et al., 2016, inter alia). However, questions remain regarding whether they do so using spurious correlations, or whether they are truly able to match verbs with their subjects. This paper argues for the latter hypothesis. Using layer-wise relevance propagation (Bach et al., 2015), a technique that quantifies the contributions of input features to model behavior, we show that LSTM performance on number agreement is directly correlated with the model's ability to distinguish subjects from other nouns. Our results suggest that LSTM language models are able to infer robust representations of syntactic dependencies.
Abstract（参考訳）: LSTM言語モデルは、高い精度(Linzen et al., 2016 inter alia)で主語と動詞の一致のような構文に敏感な文法的依存関係を捉えることが示されている。しかし、それがスプリアス相関を使っているのか、それとも本当に動詞と被験者をマッチングできるのかについては疑問が残る。本稿では後者の仮説を論じる。モデル行動に対する入力特徴の寄与を定量化する手法であるレイヤワイド関連伝播法(Bach et al., 2015)を用いて, 数値アグリーメントにおけるLSTM性能は, 対象を他の名詞と区別するモデルの能力と直接相関していることを示す。この結果から,LSTM言語モデルが構文依存の頑健な表現を推論できることが示唆された。

関連論文リスト

Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文参考訳（メタデータ） (2024-11-04T06:07:53Z)
Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文参考訳（メタデータ） (2023-05-29T16:24:01Z)
Language model acceptability judgements are not always robust to context [30.868765627701457]
目標構文評価における言語モデルの性能の安定性について検討する。モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
論文参考訳（メタデータ） (2022-12-18T00:11:06Z)
More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文参考訳（メタデータ） (2021-08-24T14:08:19Z)
Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文参考訳（メタデータ） (2021-07-22T20:52:26Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)
High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文参考訳（メタデータ） (2020-10-09T15:33:54Z)
LSTMs Compose (and Learn) Bottom-Up [18.34617849764921]
NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
論文参考訳（メタデータ） (2020-10-06T13:00:32Z)
Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM Language Models [22.826154706036995]
LSTMベースのリカレントニューラルネットワークは、多くの自然言語処理(NLP)タスクの最先端技術である。この理解の欠如として、このタスクにおけるLSTM性能の一般性と、関連するタスクに対するそれらの適合性は不確かである。本稿では, 繰り返し神経回路のゲートとニューロンを横断する経路として, 構造特性の因果的説明である*影響経路*を紹介する。
論文参考訳（メタデータ） (2020-05-03T21:10:31Z)
Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文参考訳（メタデータ） (2020-05-01T01:21:47Z)
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies [0.0]
Tree-based Long short term memory (LSTM) ネットワークは、言語テキストの意味をモデル化するための最先端技術となっている。本稿では、シーケンスの2つの入力間の関係をモデル化できる、リレーショナルゲートLSTMと呼ばれる拡張LSTMアーキテクチャを提案する。また、文依存解析構造と依存型を用いて、文の意味を密度の高いベクトルに埋め込むTyped Dependency Tree-LSTMモデルを導入する。
論文参考訳（メタデータ） (2020-02-18T18:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。