論文の概要: Do Language Models Understand Measurements?
- arxiv url: http://arxiv.org/abs/2210.12694v1
- Date: Sun, 23 Oct 2022 10:52:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 16:24:47.002584
- Title: Do Language Models Understand Measurements?
- Title(参考訳): 言語モデルは測定値を理解するか?
- Authors: Sungjin Park, Seungwoo Ryu, Edward Choi
- Abstract要約: 予備学習言語モデル (PLM) では, 測定よりも推論に要する能力が欠如していることが示されている。
その結果,測定量の多いコーパスで学習した言語モデルでは,測定値の理解性能が向上していることが判明した。
- 参考スコア(独自算出の注目度): 8.069590683507997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent success of pre-trained language models (PLMs) has stimulated interest
in their ability to understand and work with numbers. Yet, the numerical
reasoning over measurements has not been formally studied despite their
importance. In this study, we show that PLMs lack the capability required for
reasoning over measurements. Furthermore, we find that a language model trained
on a measurement-rich corpus shows better performance on understanding
measurements. We propose a simple embedding strategy to better distinguish
between numbers and units, which leads to a significant improvement in the
probing tasks.
- Abstract(参考訳): 最近の事前学習言語モデル(plm)の成功は、数字を理解して作業する能力に対する関心を刺激している。
しかし、測定に関する数値的推論は、その重要性にもかかわらず正式には研究されていない。
本研究では, PLMは, 測定以上の推論能力に欠けることを示した。
さらに,測定量の多いコーパスで学習した言語モデルでは,測定値の理解性能が向上することがわかった。
本稿では,数と単位の区別をよりよくするために,簡単な埋め込み戦略を提案する。
関連論文リスト
- Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳(メタデータ) (2024-01-29T17:17:42Z) - Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。
本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
論文 参考訳(メタデータ) (2023-11-29T05:04:52Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z) - ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。
ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。
言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
論文 参考訳(メタデータ) (2022-12-16T05:15:41Z) - Shortcut Learning of Large Language Models in Natural Language
Understanding [119.45683008451698]
大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。
予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。
これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
論文 参考訳(メタデータ) (2022-08-25T03:51:39Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - Do Language Embeddings Capture Scales? [54.1633257459927]
事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。
我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
論文 参考訳(メタデータ) (2020-10-11T21:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。