論文の概要: ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/1912.12598v1
• Date: Sun, 29 Dec 2019 07:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 07:46:38.064310
• Title: ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
• Title（参考訳）: ORB: 機械読解の総合的評価のためのオープン読解ベンチマーク
• Authors: Dheeru Dua, Ananth Gottumukkala, Alon Talmor, Sameer Singh, and Matt Gardner
• Abstract要約: 我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
• 参考スコア（独自算出の注目度）: 53.037401638264235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reading comprehension is one of the crucial tasks for furthering research in natural language understanding. A lot of diverse reading comprehension datasets have recently been introduced to study various phenomena in natural language, ranging from simple paraphrase matching and entity typing to entity tracking and understanding the implications of the context. Given the availability of many such datasets, comprehensive and reliable evaluation is tedious and time-consuming for researchers working on this problem. We present an evaluation server, ORB, that reports performance on seven diverse reading comprehension datasets, encouraging and facilitating testing a single model's capability in understanding a wide variety of reading phenomena. The evaluation server places no restrictions on how models are trained, so it is a suitable test bed for exploring training paradigms and representation learning for general reading facility. As more suitable datasets are released, they will be added to the evaluation server. We also collect and include synthetic augmentations for these datasets, testing how well models can handle out-of-domain questions.
• Abstract（参考訳）: 理解を読むことは、自然言語理解の研究を促進する重要な課題の1つである。 さまざまな読解データセットが最近導入され、単純なパラフレーズマッチングやエンティティタイピング、エンティティトラッキング、コンテキストの意味の理解など、自然言語の様々な現象が研究されている。 このようなデータセットが多数利用可能であることを考えると、この問題に取り組む研究者にとって、包括的で信頼性の高い評価は面倒で時間がかかる。 我々は,7種類の読解データセットの性能を報告し,多様な読解現象を理解するための単一モデルの能力試験を奨励し,促進する評価サーバORBを提案する。 評価サーバは、モデルの訓練方法に制限を課さないので、一般的な読書施設の訓練パラダイムや表現学習を探索するのに適したテストベッドである。 より適切なデータセットがリリースされると、評価サーバに追加される。 また、これらのデータセットの合成拡張を収集、含み、モデルがドメイン外の質問をうまく扱えるかテストします。

関連論文リスト

• PUB: Plot Understanding Benchmark and Dataset for Evaluating Large Language Models on Synthetic Visual Data Interpretation [2.1184929769291294]
  本稿では,データ視覚化における大規模言語モデルの習熟度を評価するために設計された,新しい合成データセットを提案する。 我々のデータセットは、制御されたパラメータを使って生成され、潜在的な現実世界シナリオの包括的カバレッジが保証されます。 我々は、画像中の視覚データに関連する質問を多モーダルテキストプロンプトを用いて、いくつかの最先端モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-09-04T11:19:17Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• An Understanding-Oriented Robust Machine Reading Comprehension Model [12.870425062204035]
  本稿では,3種類のロバスト性問題に対処する理解指向機械読解モデルを提案する。 具体的には、入力された質問の正確な意味を理解するために、まず自然言語推論モジュールを使用します。 第3に,一般化の問題に対処する多言語学習機構を提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:32:02Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Providing Insights for Open-Response Surveys via End-to-End Context-Aware Clustering [2.6094411360258185]
  本研究では,オープンレスポンスサーベイデータ中の組込み意味パターンを抽出し,集約し,省略する,エンド・ツー・エンドのコンテキスト認識フレームワークを提案する。 我々のフレームワークは、テキストデータを意味ベクトルにエンコードするために、事前訓練された自然言語モデルに依存している。 本フレームワークは,調査データから最も洞察に富んだ情報を抽出するプロセスを自動化することで,大規模化のコストを削減する。
  論文  参考訳（メタデータ） (2022-03-02T18:24:10Z)
• SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation on Natural Speech [44.68649535280397]
  音声言語理解評価(SLUE)のための一連のベンチマークタスクを提案する。 SLUEは限定的なラベル付きトレーニングセットとそれに対応する評価セットで構成されている。 本稿では,SLUEベンチマークスイートの第1フェーズについて述べる。 本稿では,VoxCelebデータセットとVoxPopuliデータセットのサブセットに対する新たな書き起こしとアノテーション,ベースラインモデルの評価指標と結果,ベースラインを再現し,新しいモデルを評価するためのオープンソースツールキットを提供する。
  論文  参考訳（メタデータ） (2021-11-19T18:59:23Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。