論文の概要: On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2110.03067v1
• Date: Wed, 6 Oct 2021 20:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 10:46:06.273654
• Title: On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳における文構造変化に不変なニューロンについて
• Authors: Gal Patel, Leshem Choshen and Omri Abend
• Abstract要約: 我々は、英語で制御された構文的パラフレーズのデータセットを、その参照ドイツ語翻訳でコンパイルする。 パラフレーズ間で相関するニューロンを同定し、観察された相関関係を推定し、起こりうる相同点に分解する。 我々は、特定の構文形式への翻訳に影響を与えるためにニューロンの活性化を操作する。
• 参考スコア（独自算出の注目度）: 35.32217580058933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To gain insight into the role neurons play, we study the activation patterns corresponding to meaning-preserving paraphrases (e.g., active-passive). We compile a dataset of controlled syntactic paraphrases in English with their reference German translations and demonstrate our model-agnostic approach with the Transformer translation model. First, we identify neurons that correlate across paraphrases and dissect the observed correlation into possible confounds. Although lower-level components are found as the cause of similar activations, no sentence-level semantics or syntax are detected locally. Later, we manipulate neuron activations to influence translation towards a particular syntactic form. We find that a simple value shift is effective, and more so when many neurons are modified. These suggest that complex syntactic constructions are indeed encoded in the model. We conclude by discussing how to better manipulate it using the correlations we first obtained.
• Abstract（参考訳）: 神経細胞の役割を解明するために、我々は、意味保存パラフレーズ(例えば、アクティブパス)に対応する活性化パターンを研究する。 英語の文法的パラフレーズのデータセットを、その参照ドイツ語翻訳でコンパイルし、トランスフォーマー翻訳モデルを用いてモデル非依存のアプローチを実証する。 まず、パラフラスにまたがって相関するニューロンを同定し、観測された相関を考えられるコンファンスに分類する。 低レベルのコンポーネントは類似したアクティベーションの原因として見出されるが、文レベルのセマンティクスや構文はローカルに検出されない。 その後、ニューロン活性化を操り、特定の構文形式への翻訳に影響を与える。 単純な値シフトは有効であり、多くのニューロンが修正されるとより効果的になる。 これらは、複雑な構文構成が実際にモデルにコード化されていることを示唆する。 結論として,最初に得られた相関を用いてよりうまく操作する方法について論じた。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Synonym Detection Using Syntactic Dependency And Neural Embeddings [3.0770051635103974]
  ベクトル空間モデルを用いた分布意味論の導出における構文依存の役割について検討する。 本研究は,ニューラルネットワークへの人間のコンパイルした意味知識の注入が分散分布の類似性に及ぼす影響について検討する。 この結果から,構文的条件付きコンテキストは,非条件付きコンテキストよりも語彙的意味論の解釈が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-30T03:16:41Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models [47.42249565529833]
  人間は最小限の経験から単語に関する構造的特性を学ぶことができる。 我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
  論文  参考訳（メタデータ） (2020-10-12T14:12:37Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
  テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。 本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-06T21:12:53Z)
• Compositional Neural Machine Translation by Removing the Lexicon from Syntax [2.3511835665294765]
  意味論と神経科学の理論は、完全な単語の意味は構文の表現にエンコードされていないと主張している。 LSTMエンコーダとデコーダにこの制約を強制できるニューラルユニットを提案する。
  論文  参考訳（メタデータ） (2020-02-06T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。