論文の概要: NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons
Learned
- arxiv url: http://arxiv.org/abs/2101.00133v1
- Date: Fri, 1 Jan 2021 01:24:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 14:18:13.539292
- Title: NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons
Learned
- Title(参考訳): NeurIPS 2020 効率的な QA コンペ - システム,分析,教訓
- Authors: Sewon Min, Jordan Boyd-Graber, Chris Alberti, Danqi Chen, Eunsol Choi,
Michael Collins, Kelvin Guu, Hannaneh Hajishirzi, Kenton Lee, Jennimaria
Palomaki, Colin Raffel, Adam Roberts, Tom Kwiatkowski, Patrick Lewis, Yuxiang
Wu, Heinrich K\"uttler, Linqing Liu, Pasquale Minervini, Pontus Stenetorp,
Sebastian Riedel, Sohee Yang, Minjoon Seo, Gautier Izacard, Fabio Petroni,
Lucas Hosseini, Nicola De Cao, Edouard Grave, Ikuya Yamada, Sonse Shimaoka,
Masatoshi Suzuki, Shumpei Miyawaki, Shun Sato, Ryo Takahashi, Jun Suzuki,
Martin Fajcik, Martin Docekal, Karel Ondrej, Pavel Smrz, Hao Cheng, Yelong
Shen, Xiaodong Liu, Pengcheng He, Weizhu Chen, Jianfeng Gao, Barlas Oguz,
Xilun Chen, Vladimir Karpukhin, Stan Peshterliev, Dmytro Okhonko, Michael
Schlichtkrull, Sonal Gupta, Yashar Mehdad, Wen-tau Yih
- Abstract要約: 我々はNeurIPS 2020のEfficientQAコンペティションのモチベーションと組織について述べる。
コンペでは、システムは自然言語質問を入力として受け取り、自然言語応答を返すオープンドメイン質問応答(qa)に焦点を当てた。
- 参考スコア(独自算出の注目度): 122.429985063391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We review the EfficientQA competition from NeurIPS 2020. The competition
focused on open-domain question answering (QA), where systems take natural
language questions as input and return natural language answers. The aim of the
competition was to build systems that can predict correct answers while also
satisfying strict on-disk memory budgets. These memory budgets were designed to
encourage contestants to explore the trade-off between storing large,
redundant, retrieval corpora or the parameters of large learned models. In this
report, we describe the motivation and organization of the competition, review
the best submissions, and analyze system predictions to inform a discussion of
evaluation for open-domain QA.
- Abstract(参考訳): 我々はNeurIPS 2020のEfficientQAコンペティションをレビューする。
コンペでは、システムは自然言語質問を入力として受け取り、自然言語応答を返すオープンドメイン質問応答(qa)に焦点を当てた。
競争の目的は、正確な回答を予測し、ディスク上のメモリ予算を厳格に満たすシステムを構築することであった。
これらの記憶予算は、参加者が大規模で冗長な検索コーパスまたは大規模学習モデルのパラメータを格納するトレードオフを探求するよう促すように設計されている。
本報告では,コンペティションの動機と組織について述べ,最善の提案をレビューし,システム予測を分析し,オープンドメインqaの評価に関する議論を述べる。
関連論文リスト
- Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。
高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。
標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
論文 参考訳(メタデータ) (2024-06-19T05:43:02Z) - SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳(メタデータ) (2023-09-21T16:51:30Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳(メタデータ) (2023-08-30T07:16:11Z) - ICDAR 2023 Competition on Hierarchical Text Detection and Recognition [60.68100769639923]
このコンペティションは、テキストの検出と認識を共同で行うディープラーニングモデルとシステムの研究を促進することを目的としている。
提案するコンペティション組織の詳細について,タスク,データセット,評価,スケジュールなどを紹介する。
大会期間中(2023年1月2日から2023年4月1日まで)、20チーム以上から少なくとも50人が提案された2つのタスクで応募された。
論文 参考訳(メタデータ) (2023-05-16T18:56:12Z) - Evaluation of Question Answering Systems: Complexity of judging a
natural language [3.4771957347698583]
質問応答システム(QA)は、自然言語処理(NLP)において最も重要かつ急速に発展している研究課題の一つである。
本調査では,QAの枠組み,QAパラダイム,ベンチマークデータセット,およびQAシステムの定量的評価のための評価手法の体系的概要について述べる。
論文 参考訳(メタデータ) (2022-09-10T12:29:04Z) - Retrieving and Reading: A Comprehensive Survey on Open-domain Question
Answering [62.88322725956294]
OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。
Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。
次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
論文 参考訳(メタデータ) (2021-01-04T04:47:46Z) - A Clarifying Question Selection System from NTES_ALONG in Convai3
Challenge [8.656503175492375]
本稿では,検索指向会話型AI (SCAI) EMNLPワークショップにおけるClariQチャレンジへのNetEase Game AI Labチームの参加について述べる。
この課題は、解明された質問を理解し、生成できる完全な会話情報検索システムを求めるものである。
本稿では,回答理解,質問のリコール,質問ランキングの明確化からなる質問選択システムを提案する。
論文 参考訳(メタデータ) (2020-10-27T11:22:53Z) - An Interpretable Deep Learning System for Automatically Scoring Request
for Proposals [3.244940746423378]
本稿では,Bi-LSTMに基づく新しい回帰モデルを提案する。
また,人間の評価を用いた重要なフレーズの影響を質的に評価する。
最後に,NLPに基づく自動スコアリングシステムにおける技術状況を改善するために,新たな問題文を導入する。
論文 参考訳(メタデータ) (2020-08-05T20:21:35Z) - Analysing Affective Behavior in the First ABAW 2020 Competition [49.90617840789334]
ABAW(Affective Behavior Analysis in-the-Wild) 2020コンペティションは、3つの主要な行動タスクの自動分析を目的とした最初のコンペティションである。
アルゼンチンのブエノスアイレスで2020年5月に開催されたIEEE Face and Gesture Recognitionと共同で開催されるこのコンペティションについて説明する。
評価指標を概説し,ベースラインシステムとトップ3の実施するチームの方法論をチャレンジ毎に提示し,その結果を最終的に提示する。
論文 参考訳(メタデータ) (2020-01-30T15:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。