論文の概要: Are Some Words Worth More than Others?
- arxiv url: http://arxiv.org/abs/2010.06069v2
- Date: Wed, 14 Oct 2020 03:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 07:08:14.299930
- Title: Are Some Words Worth More than Others?
- Title（参考訳）: いくつかの単語は他よりも価値があるか?
- Authors: Shiran Dudy and Steven Bedrick
- Abstract要約: 簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
- 参考スコア（独自算出の注目度）: 3.5598388686985354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current evaluation metrics for language modeling and generation rely heavily
on the accuracy of predicted (or generated) words as compared to a reference
ground truth. While important, token-level accuracy only captures one aspect of
a language model's behavior, and ignores linguistic properties of words that
may allow some mis-predicted tokens to be useful in practice. Furthermore,
statistics directly tied to prediction accuracy (including perplexity) may be
confounded by the Zipfian nature of written language, as the majority of the
prediction attempts will occur with frequently-occurring types. A model's
performance may vary greatly between high- and low-frequency words, which in
practice could lead to failure modes such as repetitive and dull generated text
being produced by a downstream consumer of a language model. To address this,
we propose two new intrinsic evaluation measures within the framework of a
simple word prediction task that are designed to give a more holistic picture
of a language model's performance. We evaluate several commonly-used large
English language models using our proposed metrics, and demonstrate that our
approach reveals functional differences in performance between the models that
are obscured by more traditional metrics.
- Abstract（参考訳）: 言語モデリングと生成の現在の評価基準は、予測された(あるいは生成された)単語の正確さと基準基底真理に大きく依存している。
重要なことではあるが、トークンレベルの精度は言語モデルの振舞いの1つの側面のみを捉え、誤予測されたトークンが実際に有用である可能性のある単語の言語的性質を無視している。
さらに、予測精度(パープレキシティを含む)に直接関連付けられた統計は、しばしば発生する型で予測試みの大多数が発生するため、書字言語のZipfianの性質によって構築される可能性がある。
モデルの性能は、高頻度と低周波の単語間で大きく異なり、実際には、言語モデルの下流のコンシューマが生成する繰り返しや鈍化といった失敗モードにつながる可能性がある。
そこで本研究では,言語モデルの性能をより包括的に表現するための,単純な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
我々は,提案するメトリクスを用いて,広く使用されている複数の大規模英語モデルを評価し,従来のメトリクスで曖昧なモデル間の機能的性能差を明らかにする。
関連論文リスト
- Robustifying Language Models with Test-Time Adaptation [17.96043752001886]
大規模言語モデルは、多くの言語タスクに対して最先端のパフォーマンスを達成した。
これらは、言語モデルを騙すように最適化された文であるが、人間に類似した意味を持つ、敵対的な言語の例では失敗する。
入力文をマスキングされた単語からの予測に適応させることで,多くの言語敵対攻撃を逆転させることができることを示す。
論文 参考訳（メタデータ） (2023-10-29T22:37:54Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳（メタデータ） (2022-05-28T01:03:30Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。
意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。
言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文 参考訳（メタデータ） (2021-04-18T08:13:06Z) - Unigram-Normalized Perplexity as a Language Model Performance Measure
with Different Vocabulary Sizes [4.477547027158141]
本稿では,異なる語彙サイズで言語モデルの性能を評価するための新しい指標を提案する。
提案したユニグラム正規化パープレクシリティは、単純なユニグラムモデルから言語モデルの性能改善を実際に示す。
論文 参考訳（メタデータ） (2020-11-26T10:39:03Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳（メタデータ） (2020-02-09T19:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。