論文の概要: No News is Good News: A Critique of the One Billion Word Benchmark
- arxiv url: http://arxiv.org/abs/2110.12609v1
- Date: Mon, 25 Oct 2021 02:41:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 06:02:33.558566
- Title: No News is Good News: A Critique of the One Billion Word Benchmark
- Title(参考訳): ニュースは良いニュースではない:10億ワードベンチマークの批判
- Authors: Helen Ngo, Jo\~ao G.M. Ara\'ujo, Jeffrey Hui, Nicholas Frosst
- Abstract要約: 10億ワードベンチマークは、WMT 2011 News Crawlから派生したデータセットである。
毎年分割されたCommon Crawlのウェブスクラップにのみモデルをトレーニングし、分散シフトによる時間経過とともに、このタスクに悪影響を及ぼすことを示す。
- 参考スコア(独自算出の注目度): 4.396860522241306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The One Billion Word Benchmark is a dataset derived from the WMT 2011 News
Crawl, commonly used to measure language modeling ability in natural language
processing. We train models solely on Common Crawl web scrapes partitioned by
year, and demonstrate that they perform worse on this task over time due to
distributional shift. Analysis of this corpus reveals that it contains several
examples of harmful text, as well as outdated references to current events. We
suggest that the temporal nature of news and its distribution shift over time
makes it poorly suited for measuring language modeling ability, and discuss
potential impact and considerations for researchers building language models
and evaluation datasets.
- Abstract(参考訳): 10億ワードベンチマークは、自然言語処理における言語モデリング能力を測定するために一般的に使用されるWMT 2011 News Crawlから派生したデータセットである。
毎年分割されたCommon Crawlのウェブスクラップにのみモデルをトレーニングし、分散シフトによる時間経過とともに、このタスクを悪化させることを示す。
このコーパスの分析により、有害なテキストのいくつかの例と、現在のイベントに対する古い参照が含まれていることが判明した。
我々は,ニュースの時間的性質と時間的分布変化が言語モデリング能力の計測に不適であることを示唆し,言語モデルの構築や評価データセットの構築における潜在的影響と考察について議論する。
関連論文リスト
- AutoCast++: Enhancing World Event Prediction with Zero-shot Ranking-based Context Retrieval [9.357912396498142]
ゼロショットランキングに基づくコンテキスト検索システムであるAutoCast++を紹介する。
提案手法は、まずゼロショットの質問パス関連性に基づいて記事を再ランク付けし、セマンティックな関連するニュースに注目する。
我々は、ドメイン固有のトレーニングを必要とせずに、関連性評価と記事要約を行う。
論文 参考訳(メタデータ) (2023-10-03T08:34:44Z) - Text2Time: Transformer-based Article Time Period Prediction [0.11470070927586018]
本研究は,テキストの内容に基づいて,文章,特にニュース記事の出版時期を予測することの問題点を考察する。
私たちは、ニューヨーク・タイムズが60年以上にわたって発行した35万件以上のニュース記事のラベル付きデータセットを作成しました。
提案手法では,テキスト分類のタスク,特に時刻予測のために,事前訓練されたBERTモデルを用いている。
論文 参考訳(メタデータ) (2023-04-21T10:05:03Z) - Models See Hallucinations: Evaluating the Factuality in Video Captioning [57.85548187177109]
ビデオキャプションにおける実感の人間による評価を行い、2つの注釈付き実感データセットを収集する。
モデル生成文の57.0%に事実誤りがあり、この分野では深刻な問題であることを示す。
本稿では,映像キャプションの事実性評価において,従来の指標より優れていたモデルベース事実性指標FactVCを提案する。
論文 参考訳(メタデータ) (2023-03-06T08:32:50Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - XL-WiC: A Multilingual Benchmark for Evaluating Semantic
Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。
我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。
実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2020-10-13T15:32:00Z) - Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文 参考訳(メタデータ) (2020-10-12T23:12:11Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。