Fugu-MT 論文翻訳(概要): Do Language Embeddings Capture Scales?

論文の概要: Do Language Embeddings Capture Scales?

arxiv url: http://arxiv.org/abs/2010.05345v3
Date: Tue, 24 Nov 2020 07:25:41 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 13:32:54.242697
Title: Do Language Embeddings Capture Scales?
Title（参考訳）: 言語埋め込みはキャプチャースケールか?
Authors: Xikun Zhang, Deepak Ramachandran, Ian Tenney, Yanai Elazar, Dan Roth
Abstract要約: 事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
参考スコア（独自算出の注目度）: 54.1633257459927
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretrained Language Models (LMs) have been shown to possess significant linguistic, common sense, and factual knowledge. One form of knowledge that has not been studied yet in this context is information about the scalar magnitudes of objects. We show that pretrained language models capture a significant amount of this information but are short of the capability required for general common-sense reasoning. We identify contextual information in pre-training and numeracy as two key factors affecting their performance and show that a simple method of canonicalizing numbers can have a significant effect on the results.
Abstract（参考訳）: 事前訓練された言語モデル(LM)は、言語的、常識的、事実的な知識をかなり持っていることが示されている。この文脈でまだ研究されていない知識の1つの形態は、オブジェクトのスカラーサイズに関する情報である。事前学習された言語モデルは,これらの情報のかなりの量の取得を行うが,一般的な常識推論に必要な能力に乏しいことを示す。我々は,事前学習と数理化における文脈情報を,その性能に影響を与える2つの重要な要因として認識し,その結果に有意な影響を及ぼすことを示す。

関連論文リスト

Enhancing elusive clues in knowledge learning by contrasting attention of language models [19.37767409898751]
本稿では,言語モデル事前学習における知識学習の促進手法を提案する。より大きな言語モデルは、より小さな言語モデルによって見落とされがちな、目立たないが重要な手がかりにより多くの注意を払っていることがわかった。
論文参考訳（メタデータ） (2024-09-26T15:30:54Z)
Roles of Scaling and Instruction Tuning in Language Perception: Model vs. Human Attention [58.817405319722596]
本研究は,複数の大規模言語モデル (LLM) を異なる大きさで自己意識的に比較し,言語知覚に対するスケーリングと指導指導の効果を評価する。その結果,スケーリングは人間の類似性を向上し,簡単なパターン依存を減らし,効果的な注意力を高める一方で,命令チューニングは行わないことがわかった。また、現在のLLMは、注目されているネイティブスピーカーよりも、常に非ネイティブに近づき、全てのモデルの準最適言語知覚が示唆されている。
論文参考訳（メタデータ） (2023-10-29T17:16:40Z)
What does BERT learn about prosody? [1.1548853370822343]
モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
論文参考訳（メタデータ） (2023-04-25T10:34:56Z)
Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
論文参考訳（メタデータ） (2023-01-31T20:48:57Z)
Crawling the Internal Knowledge-Base of Language Models [53.95793060766248]
本稿では,言語モデルの内部知識ベースである「クローリング」の手順について述べる。我々は、数十のシードエンティティから始まるグラフのクローリングに対するアプローチを評価した。
論文参考訳（メタデータ） (2023-01-30T12:03:36Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Probing Linguistic Information For Logical Inference In Pre-trained Language Models [2.4366811507669124]
本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
論文参考訳（メタデータ） (2021-12-03T07:19:42Z)
Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文参考訳（メタデータ） (2021-10-15T21:58:03Z)
On the Multilingual Capabilities of Very Large-Scale English Language Models [0.0]
GPT(Generative Pre-trained Transformer)は、機械学習の歴史において、前例のない規模に拡張されている。本研究では,GPT-3の多言語的スキルについて検討し,事前学習用コーパスであるカタルーニャ語にはほとんど現れない1つの言語に着目した。このモデルでは、特に生成タスクにおいて、主に言語理解タスクでは予測可能な制限があるが、ゼロショットシナリオでは顕著な結果が得られる。
論文参考訳（メタデータ） (2021-08-30T16:18:50Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。