論文の概要: Syntax Representation in Word Embeddings and Neural Networks -- A Survey

• arxiv url: http://arxiv.org/abs/2010.01063v1
• Date: Fri, 2 Oct 2020 15:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 01:33:14.421158
• Title: Syntax Representation in Word Embeddings and Neural Networks -- A Survey
• Title（参考訳）: 単語埋め込みとニューラルネットワークにおける構文表現 -調査-
• Authors: Tomasz Limisiewicz and David Mare\v{c}ek
• Abstract要約: 本稿では,単語表現に含まれる統語的情報量を評価するためのアプローチについて述べる。 主に、言語モデリングタスクにおける英語単言語データの再検討について要約する。 本稿では,どの事前学習モデルと言語表現が構文的タスクに最も適しているかを説明する。
• 参考スコア（独自算出の注目度）: 4.391102490444539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks trained on natural language processing tasks capture syntax even though it is not provided as a supervision signal. This indicates that syntactic analysis is essential to the understating of language in artificial intelligence systems. This overview paper covers approaches of evaluating the amount of syntactic information included in the representations of words for different neural network architectures. We mainly summarize re-search on English monolingual data on language modeling tasks and multilingual data for neural machine translation systems and multilingual language models. We describe which pre-trained models and representations of language are best suited for transfer to syntactic tasks.
• Abstract（参考訳）: 自然言語処理タスクで訓練されたニューラルネットワークは、監督信号として提供されていなくても構文をキャプチャする。 このことは、構文解析が人工知能システムにおける言語理解に不可欠であることを示している。 本稿では,異なるニューラルネットワークアーキテクチャにおける単語表現に含まれる構文情報の量を評価するアプローチについて述べる。 ニューラルマシン翻訳システムおよび多言語言語モデルのための言語モデリングタスクおよび多言語データに関する英語単言語データの再検討を主に要約する。 文法タスクへの変換には,事前学習したモデルと言語表現が最適であることを示す。

関連論文リスト

• Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
  我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
  論文  参考訳（メタデータ） (2024-09-10T14:58:55Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification [16.369477141866405]
  音声信号におけるスラヴ語識別のためのニューラルモデルを提案する。 本稿では,言語関連性の客観的尺度を反映しているかどうかを調査するために,その創発的表現を分析した。
  論文  参考訳（メタデータ） (2020-10-22T18:18:19Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。