論文の概要: Language Model Metrics and Procrustes Analysis for Improved Vector Transformation of NLP Embeddings

• arxiv url: http://arxiv.org/abs/2106.02490v1
• Date: Fri, 4 Jun 2021 13:56:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 21:04:25.784006
• Title: Language Model Metrics and Procrustes Analysis for Improved Vector Transformation of NLP Embeddings
• Title（参考訳）: NLP埋め込みのベクトル変換改善のための言語モデルメトリクスと韻律解析
• Authors: Thomas Conley and Jugal Kalita
• Abstract要約: 鍵となる問題は、NLP埋め込み空間におけるベクトル間の類似性や距離を測定することである。 ベクトル間の言語距離を測る最良の方法は、それらを生成する言語モデル(LM)を利用することである。 バイリンガル単語マッピングのためのProcrustesアルゴリズムを学習する単純なニューラルネットワークに適用することにより,この指標の有効性を示す。
• 参考スコア（独自算出の注目度）: 4.061135251278187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Neural networks are mathematical models at their core. This truismpresents some fundamental difficulty when networks are tasked with Natural Language Processing. A key problem lies in measuring the similarity or distance among vectors in NLP embedding space, since the mathematical concept of distance does not always agree with the linguistic concept. We suggest that the best way to measure linguistic distance among vectors is by employing the Language Model (LM) that created them. We introduce Language Model Distance (LMD) for measuring accuracy of vector transformations based on the Distributional Hypothesis ( LMD Accuracy ). We show the efficacy of this metric by applying it to a simple neural network learning the Procrustes algorithm for bilingual word mapping.
• Abstract（参考訳）: ニューラルネットワークは、その核となる数学的モデルである。 これは、ネットワークが自然言語処理で処理される場合の、いくつかの根本的な困難を表わす。 重要な問題は、NLP埋め込み空間におけるベクトル間の類似性や距離を測定することである。 ベクトル間の言語距離を測る最良の方法は、それらを生成する言語モデル(LM)を利用することである。 本稿では,分布仮説(LMD)に基づくベクトル変換の精度測定のための言語モデル距離(LMD)を提案する。 バイリンガル単語マッピングのためのProcrustesアルゴリズムを学習する単純なニューラルネットワークに適用することにより,この指標の有効性を示す。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
  本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。 本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。 モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
  論文  参考訳（メタデータ） (2023-10-18T12:32:07Z)
• Adversarial Capsule Networks for Romanian Satire Detection and Sentiment Analysis [0.13048920509133807]
  サファイア検出と感情分析は、自然言語処理タスクを集中的に探求している。 研究資源が少ない言語では、文字レベルの逆数過程に基づく人工的な例を生成する方法がある。 本研究では, よく知られたNLPモデルの改良を行い, 対角訓練とカプセルネットワークについて検討する。 提案したフレームワークは2つのタスクの既存の手法より優れており、99.08%の精度が達成されている。
  論文  参考訳（メタデータ） (2023-06-13T15:23:44Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• An Accurate Model for Predicting the (Graded) Effect of Context in Word Similarity Based on Bert [15.518596319633609]
  我々は、文脈が類似した単語の人間の知覚に与える影響を分析し、SemEval 2020の3番目の課題である。 我々のチームはフィンランド語トラックのsubtask1で1位を獲得し、英語トラックのsubtask1で2位となった。
  論文  参考訳（メタデータ） (2020-05-03T06:48:35Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。