論文の概要: Can a Fruit Fly Learn Word Embeddings?

• arxiv url: http://arxiv.org/abs/2101.06887v2
• Date: Sun, 14 Mar 2021 19:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 06:07:47.442664
• Title: Can a Fruit Fly Learn Word Embeddings?
• Title（参考訳）: Fruit Flyは言葉の埋め込みを学べる?
• Authors: Yuchen Liang, Chaitanya K. Ryali, Benjamin Hoover, Leopold Grinberg, Saket Navlakha, Mohammed J. Zaki, Dmitry Krotov
• Abstract要約: フルーツフライ脳は、神経科学で最も研究されたシステムの1つです。 ネットワークモチーフは単語の意味表現を学習し,静的および文脈依存の単語埋め込みを生成できることを示す。 また,fruit fly networkのモチーフはnlpの既存の手法に匹敵する性能を実現するだけでなく,計算資源のほんの一部しか使用できないことを示した。
• 参考スコア（独自算出の注目度）: 16.280120177501733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The mushroom body of the fruit fly brain is one of the best studied systems in neuroscience. At its core it consists of a population of Kenyon cells, which receive inputs from multiple sensory modalities. These cells are inhibited by the anterior paired lateral neuron, thus creating a sparse high dimensional representation of the inputs. In this work we study a mathematical formalization of this network motif and apply it to learning the correlational structure between words and their context in a corpus of unstructured text, a common natural language processing (NLP) task. We show that this network can learn semantic representations of words and can generate both static and context-dependent word embeddings. Unlike conventional methods (e.g., BERT, GloVe) that use dense representations for word embedding, our algorithm encodes semantic meaning of words and their context in the form of sparse binary hash codes. The quality of the learned representations is evaluated on word similarity analysis, word-sense disambiguation, and document classification. It is shown that not only can the fruit fly network motif achieve performance comparable to existing methods in NLP, but, additionally, it uses only a fraction of the computational resources (shorter training time and smaller memory footprint).
• Abstract（参考訳）: ショウジョウバエ脳のキノコ体は神経科学において最も研究されているシステムの一つである。 核となるのはケニオン細胞の集団であり、複数の感覚様相から入力を受ける。 これらの細胞は前対の側方ニューロンによって抑制され、入力のスパースな高次元表現となる。 本研究では,このネットワークモチーフの数学的形式化について検討し,自然言語処理(NLP)タスクである非構造化テキストのコーパスにおいて,単語とその文脈間の相関構造を学習する。 このネットワークは単語の意味表現を学習でき、静的および文脈依存の単語埋め込みを生成することができる。 単語埋め込みに高密度表現を用いる従来の方法(BERT, GloVeなど)とは異なり、我々のアルゴリズムは単語の意味と文脈をスパースバイナリハッシュコードの形で符号化する。 学習した表現の質は、単語類似性分析、単語センスの曖昧さ、文書分類に基づいて評価される。 また,fruit fly networkモチーフはnlpの既存の手法に匹敵する性能を実現するだけでなく,計算資源のほんの一部(短いトレーニング時間と少ないメモリフットプリント)しか使用できないことを示した。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
  本稿では,論理節を自己教師する自動エンコーダについて紹介する。 節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。 我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
  論文  参考訳（メタデータ） (2023-01-02T15:02:45Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Grammar-Based Grounded Lexicon Learning [68.59500589319023]
  G2L2は、構成的および基礎的な言語表現を学ぶための語彙主義的なアプローチである。 G2L2の中核には語彙エントリの集まりがあり、各単語を構文型とニューロシンボリックセマンティックプログラムにマッピングする。 G2L2は、少量のデータから新しい単語合成へと一般化することができる。
  論文  参考訳（メタデータ） (2022-02-17T18:19:53Z)
• A Survey On Neural Word Embeddings [0.4822598110892847]
  自然言語処理における意味の研究は、分布仮説に依存する。 概念の分散表現という革命的な考えは、人間の心の働きに近い。 ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
  論文  参考訳（メタデータ） (2021-10-05T03:37:57Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Using Holographically Compressed Embeddings in Question Answering [0.0]
  本研究では,事前学習した埋め込みのホログラフィック圧縮を用いてトークン,そのパート・オブ・音声,名前付きエンティティタイプを表現する。 この実装は、修正された質問応答の繰り返しディープラーニングネットワークにおいて、意味的関係が保存され、高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-14T18:29:49Z)
• On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms [0.0]
  セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。 まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。 そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
  論文  参考訳（メタデータ） (2020-06-17T14:25:36Z)
• Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
  分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。 ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。 適切な単語の埋め込みを選択することは 複雑な作業です なぜなら、投影された埋め込み空間は 人間にとって直感的ではないからです
  論文  参考訳（メタデータ） (2020-05-08T01:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。