論文の概要: AutoCast++: Enhancing World Event Prediction with Zero-shot
Ranking-based Context Retrieval
- arxiv url: http://arxiv.org/abs/2310.01880v1
- Date: Tue, 3 Oct 2023 08:34:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 16:54:17.791469
- Title: AutoCast++: Enhancing World Event Prediction with Zero-shot
Ranking-based Context Retrieval
- Title(参考訳): AutoCast++: ゼロショットランキングベースのコンテキスト検索によるワールドイベント予測の強化
- Authors: Qi Yan, Raihan Seraj, Jiawei He, Lili Meng, Tristan Sylvain
- Abstract要約: ゼロショットランキングに基づくコンテキスト検索システムであるAutoCast++を紹介する。
提案手法は、まずゼロショットの質問パス関連性に基づいて記事を再ランク付けし、セマンティックな関連するニュースに注目する。
我々は、ドメイン固有のトレーニングを必要とせずに、関連性評価と記事要約を行う。
- 参考スコア(独自算出の注目度): 10.039598453531738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine-based prediction of real-world events is garnering attention due to
its potential for informed decision-making. Whereas traditional forecasting
predominantly hinges on structured data like time-series, recent breakthroughs
in language models enable predictions using unstructured text. In particular,
(Zou et al., 2022) unveils AutoCast, a new benchmark that employs news articles
for answering forecasting queries. Nevertheless, existing methods still trail
behind human performance. The cornerstone of accurate forecasting, we argue,
lies in identifying a concise, yet rich subset of news snippets from a vast
corpus. With this motivation, we introduce AutoCast++, a zero-shot
ranking-based context retrieval system, tailored to sift through expansive news
document collections for event forecasting. Our approach first re-ranks
articles based on zero-shot question-passage relevance, honing in on
semantically pertinent news. Following this, the chosen articles are subjected
to zero-shot summarization to attain succinct context. Leveraging a pre-trained
language model, we conduct both the relevance evaluation and article
summarization without needing domain-specific training. Notably, recent
articles can sometimes be at odds with preceding ones due to new facts or
unanticipated incidents, leading to fluctuating temporal dynamics. To tackle
this, our re-ranking mechanism gives preference to more recent articles, and we
further regularize the multi-passage representation learning to align with
human forecaster responses made on different dates. Empirical results
underscore marked improvements across multiple metrics, improving the
performance for multiple-choice questions (MCQ) by 48% and true/false (TF)
questions by up to 8%.
- Abstract(参考訳): 機械による現実世界の出来事の予測は、情報的な意思決定の可能性から注目を集めている。
従来の予測は時系列のような構造化データに主に依存するが、最近の言語モデルのブレークスルーは、非構造化テキストを使った予測を可能にする。
特に(Zou et al., 2022)は、予測クエリに回答するためにニュース記事を利用する新しいベンチマークであるAutoCastを発表した。
それでも、既存の手法は人間のパフォーマンスに遅れを取っている。
正確な予測の基盤は、巨大なコーパスから、簡潔だがリッチなニューススニペットを識別することにある、と私たちは主張する。
このモチベーションにより、イベント予測のための拡張的なニュースドキュメントコレクションを通じて、シャフトに適したゼロショットランキングベースのコンテキスト検索システムであるAutoCast++を導入する。
提案手法は、まずゼロショットの質問パス関連性に基づいて記事を再ランクし、意味的に関連するニュースに注目する。
その後、選択された記事はゼロショット要約され、簡潔な文脈となる。
事前学習言語モデルを活用することで、ドメイン固有のトレーニングを必要とせず、関連性評価と記事要約を行う。
特に、最近の記事は、新しい事実や予期しない出来事のために、前の記事と矛盾することがあるため、時間的ダイナミクスが変動する。
これに対処するため、我々の再ランキング機構は、より最近の記事に好みを与え、異なる日付の人間の予測者応答に合わせるために、さらにマルチパス表現学習を規則化する。
経験的結果は、複数のメトリクス間で改善点を示し、マルチチョイス質問(MCQ)のパフォーマンスを48%改善し、真偽質問(TF)を8%改善した。
関連論文リスト
- Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳(メタデータ) (2023-09-28T13:19:43Z) - Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。
自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。
我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-19T05:47:33Z) - Text2Time: Transformer-based Article Time Period Prediction [0.11470070927586018]
本研究は,テキストの内容に基づいて,文章,特にニュース記事の出版時期を予測することの問題点を考察する。
私たちは、ニューヨーク・タイムズが60年以上にわたって発行した35万件以上のニュース記事のラベル付きデータセットを作成しました。
提案手法では,テキスト分類のタスク,特に時刻予測のために,事前訓練されたBERTモデルを用いている。
論文 参考訳(メタデータ) (2023-04-21T10:05:03Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳(メタデータ) (2023-01-15T03:13:09Z) - A Generative Approach for Script Event Prediction via Contrastive
Fine-tuning [35.87615178251874]
Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。
近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。
本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
論文 参考訳(メタデータ) (2022-12-07T07:32:47Z) - Forecasting Future World Events with Neural Networks [68.43460909545063]
Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
論文 参考訳(メタデータ) (2022-06-30T17:59:14Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-04-11T18:31:53Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - No News is Good News: A Critique of the One Billion Word Benchmark [4.396860522241306]
10億ワードベンチマークは、WMT 2011 News Crawlから派生したデータセットである。
毎年分割されたCommon Crawlのウェブスクラップにのみモデルをトレーニングし、分散シフトによる時間経過とともに、このタスクに悪影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2021-10-25T02:41:27Z) - How Context Affects Language Models' Factual Predictions [134.29166998377187]
検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。
この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
論文 参考訳(メタデータ) (2020-05-10T09:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。