Fugu-MT 論文翻訳(概要): Bio-inspired Structure Identification in Language Embeddings

論文の概要: Bio-inspired Structure Identification in Language Embeddings

arxiv url: http://arxiv.org/abs/2009.02459v2
Date: Tue, 15 Sep 2020 23:59:06 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 21:00:04.465137
Title: Bio-inspired Structure Identification in Language Embeddings
Title（参考訳）: 言語埋め込みにおける生体インスパイア構造同定
Authors: Hongwei (Henry) Zhou, Oskar Elek, Pranav Anand, Angus G. Forbes
Abstract要約: 本稿では, バイオインスパイアされた手法を用いて, 単語の埋め込みをトラバースし, 可視化する一連の探索手法を提案する。本モデルを用いて,単語の埋め込み手法の違いが意味的出力に与える影響について検討する。
参考スコア（独自算出の注目度）: 3.5292026405502215
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Word embeddings are a popular way to improve downstream performances in contemporary language modeling. However, the underlying geometric structure of the embedding space is not well understood. We present a series of explorations using bio-inspired methodology to traverse and visualize word embeddings, demonstrating evidence of discernible structure. Moreover, our model also produces word similarity rankings that are plausible yet very different from common similarity metrics, mainly cosine similarity and Euclidean distance. We show that our bio-inspired model can be used to investigate how different word embedding techniques result in different semantic outputs, which can emphasize or obscure particular interpretations in textual data.
Abstract（参考訳）: 単語埋め込みは、現代言語モデリングにおける下流のパフォーマンスを改善する一般的な方法である。しかし、埋め込み空間の基本的な幾何学的構造はよく分かっていない。バイオインスパイアされた手法を用いて,単語の埋め込みを行ない,可視化し,識別可能な構造の証拠を示す。さらに,本モデルでは,コサイン類似度やユークリッド距離など,一般的な類似度指標とは大きく異なる単語類似度ランキングを生成する。バイオインスパイアされたモデルを用いて、異なる単語埋め込み技術が、テキストデータの特定の解釈を強調または曖昧にできる、異なるセマンティックアウトプットをもたらすかを調べることができることを示す。

関連論文リスト

Spoken Word2Vec: Learning Skipgram Embeddings from Speech [0.8901073744693314]
本研究では,入力単位が音響的に相関している場合に,スワップスキップグラムのようなアルゴリズムが分布意味論を符号化できないことを示す。そこで本研究では,モデルのエンド・ツー・エンドの代替案の可能性を説明し,その結果の埋め込みへの影響について検討する。
論文参考訳（メタデータ） (2023-11-15T19:25:29Z)
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文参考訳（メタデータ） (2023-01-22T08:02:23Z)
Towards a Theoretical Understanding of Word and Relation Representation [8.020742121274418]
ベクトルまたは埋め込みによる単語の表現は、計算的推論を可能にする。テキストコーパスと知識グラフから学習した単語埋め込みに注目した。
論文参考訳（メタデータ） (2022-02-01T15:34:58Z)
Patterns of Lexical Ambiguity in Contextualised Language Models [9.747449805791092]
本稿では,単語感覚の類似度と共述度を拡張した,人間による注釈付きデータセットを提案する。どちらの人間の判断も、多文解釈の類似性は意味の同一性とホモニミーの連続性にあることを示している。我々のデータセットは、語彙的曖昧性の複雑さの大部分を捉えており、文脈的埋め込みのための現実的なテストベッドを提供することができる。
論文参考訳（メタデータ） (2021-09-27T13:11:44Z)
Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文参考訳（メタデータ） (2021-04-20T17:56:24Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings [42.87769996249732]
共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
論文参考訳（メタデータ） (2020-08-11T13:54:11Z)
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文参考訳（メタデータ） (2020-05-12T15:35:00Z)
Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。適切な単語の埋め込みを選択することは複雑な作業ですなぜなら、投影された埋め込み空間は人間にとって直感的ではないからです
論文参考訳（メタデータ） (2020-05-08T01:16:03Z)
Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。実験研究を支援するために,単語順と形態的類似度指標を算出した。
論文参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。