論文の概要: Logographic Information Aids Learning Better Representations for Natural Language Inference

• arxiv url: http://arxiv.org/abs/2211.02136v1
• Date: Thu, 3 Nov 2022 20:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:36:26.127948
• Title: Logographic Information Aids Learning Better Representations for Natural Language Inference
• Title（参考訳）: 自然言語推論のためのより良い表現学習を支援するログ情報
• Authors: Zijian Jin, Duygu Ataman
• Abstract要約: 本稿では,より優れた意味表現を学習する上で,言語モデルにログ情報を提供することのメリットを探求する新しい研究を提案する。 6つの言語で評価した結果,ロゴグラフシステムを持つ言語にマルチモーダル埋め込みを組み込むことによる大きなメリットが示唆された。
• 参考スコア（独自算出の注目度）: 3.677231059555795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Statistical language models conventionally implement representation learning based on the contextual distribution of words or other formal units, whereas any information related to the logographic features of written text are often ignored, assuming they should be retrieved relying on the cooccurence statistics. On the other hand, as language models become larger and require more data to learn reliable representations, such assumptions may start to fall back, especially under conditions of data sparsity. Many languages, including Chinese and Vietnamese, use logographic writing systems where surface forms are represented as a visual organization of smaller graphemic units, which often contain many semantic cues. In this paper, we present a novel study which explores the benefits of providing language models with logographic information in learning better semantic representations. We test our hypothesis in the natural language inference (NLI) task by evaluating the benefit of computing multi-modal representations that combine contextual information with glyph information. Our evaluation results in six languages with different typology and writing systems suggest significant benefits of using multi-modal embeddings in languages with logograhic systems, especially for words with less occurence statistics.
• Abstract（参考訳）: 統計言語モデルは、伝統的に、単語やその他の形式単位の文脈分布に基づく表現学習を実装しているのに対し、文章の書誌的特徴に関連する情報はしばしば無視される。 一方で、言語モデルが大きくなり、信頼できる表現を学ぶためにより多くのデータが必要となると、このような仮定は、特にデータのスパーシティの条件下では後退し始める。 中国語やベトナム語を含む多くの言語は、表面形式がより小さなグラフ単位の視覚的な構成として表現され、しばしば多くの意味的手がかりを含む対数記法を使用している。 本稿では,より優れた意味表現を学習するために,ログ情報付き言語モデルを提供することの利点を考察する。 我々は、文脈情報とグリフ情報を組み合わせたマルチモーダル表現の利点を評価することにより、自然言語推論(NLI)タスクにおける仮説をテストする。 本評価の結果,文字型や文字体系が異なる6つの言語について,ロゴグラヒックシステムを持つ言語,特に出現率の低い単語にマルチモーダル組込みを用いることによる有意なメリットが示唆された。

関連論文リスト

• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• LogogramNLP: Comparing Visual and Textual Representations of Ancient Logographic Writing Systems for NLP [30.804518354947565]
  記録データの大部分は、転写がないため、純粋に視覚的に持続する。 この問題は、NLPツールキットを古代のログ言語研究に応用しようとする研究者にとってボトルネックとなる。 我々は,古代のログ言語のNLP解析を可能にする最初のベンチマークであるLogogramNLPを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T17:58:06Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
  本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
  論文  参考訳（メタデータ） (2021-12-03T07:19:42Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Syntax Representation in Word Embeddings and Neural Networks -- A Survey [4.391102490444539]
  本稿では,単語表現に含まれる統語的情報量を評価するためのアプローチについて述べる。 主に、言語モデリングタスクにおける英語単言語データの再検討について要約する。 本稿では,どの事前学習モデルと言語表現が構文的タスクに最も適しているかを説明する。
  論文  参考訳（メタデータ） (2020-10-02T15:44:58Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。