論文の概要: Multi-Sense Language Modelling

• arxiv url: http://arxiv.org/abs/2012.05776v1
• Date: Thu, 10 Dec 2020 16:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 13:27:39.996001
• Title: Multi-Sense Language Modelling
• Title（参考訳）: マルチセンス言語モデリング
• Authors: Andrea Lekkas, Peter Schneider-Kamp, Isabelle Augenstein
• Abstract要約: 我々は,次の単語を予測できるだけでなく,文脈における意味を予測できる言語モデルを提案する。 この高い予測粒度は、補助的な記述のようなエンドタスクに有用である。 感覚予測には,定義や単語感覚の例を符号化したグラフ注意ネットワークを利用する。
• 参考スコア（独自算出の注目度）: 19.396806939258806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effectiveness of a language model is influenced by its token representations, which must encode contextual information and handle the same word form having a plurality of meanings (polysemy). Currently, none of the common language modelling architectures explicitly model polysemy. We propose a language model which not only predicts the next word, but also its sense in context. We argue that this higher prediction granularity may be useful for end tasks such as assistive writing, and allow for more a precise linking of language models with knowledge bases. We find that multi-sense language modelling requires architectures that go beyond standard language models, and here propose a structured prediction framework that decomposes the task into a word followed by a sense prediction task. For sense prediction, we utilise a Graph Attention Network, which encodes definitions and example uses of word senses. Overall, we find that multi-sense language modelling is a highly challenging task, and suggest that future work focus on the creation of more annotated training datasets.
• Abstract（参考訳）: 言語モデルの有効性は、そのトークン表現に影響され、文脈情報をエンコードし、複数の意味(ポリセミー)を持つ同じ単語形式を扱う必要がある。 現在、共通言語モデリングアーキテクチャのどれも、明確にポリセミをモデル化していない。 我々は,次の単語を予測できるだけでなく,文脈における意味を予測できる言語モデルを提案する。 我々は、この高い予測粒度は、補助的な記述のようなエンドタスクに有用であり、言語モデルと知識ベースをより正確に結びつけることができると主張している。 マルチセンス言語モデリングには,標準言語モデルを超えるアーキテクチャを必要とすることが判明し,そのタスクを単語に分解し,その後に感覚予測タスクを付加する構造化予測フレームワークを提案する。 感覚予測には,定義や単語感覚の例を符号化したグラフ注意ネットワークを利用する。 全体として、マルチセンス言語モデリングは極めて困難なタスクであり、将来の作業はより注釈付きトレーニングデータセットの作成に重点を置くことを示唆している。

関連論文リスト

• Enhanced Auto Language Prediction with Dictionary Capsule -- A Novel Approach [0.0]
  本稿では,言語予測と機械翻訳のための新しい自動言語予測辞書キャプチャーフレームワークを提案する。 このモデルはニューラルネットワークと記号表現の組み合わせを使用して、与えられた入力テキストの言語を予測し、事前に構築された辞書を使用してターゲット言語に翻訳する。
  論文  参考訳（メタデータ） (2024-03-09T18:43:48Z)
• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Language Models are not Models of Language [0.0]
  トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。 深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
  論文  参考訳（メタデータ） (2021-12-13T22:39:46Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。