Fugu-MT 論文翻訳(概要): To Test Machine Comprehension, Start by Defining Comprehension

論文の概要: To Test Machine Comprehension, Start by Defining Comprehension

arxiv url: http://arxiv.org/abs/2005.01525v2
Date: Mon, 11 May 2020 14:57:54 GMT
ステータス: 処理完了
システム内更新日: 2022-12-07 00:03:00.034005
Title: To Test Machine Comprehension, Start by Defining Comprehension
Title（参考訳）: 機械の理解をテストするには, 理解の定義から始める
Authors: Jesse Dunietz, Gregory Burnham, Akash Bharadwaj, Owen Rambow, Jennifer Chu-Carroll, David Ferrucci
Abstract要約: 既存のアプローチは理解を適切に定義していないと論じる。本稿では,より有用なテキスト,すなわち短い物語に対する理解の詳細な定義について述べる。
参考スコア（独自算出の注目度）: 4.7567975584546
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many tasks aim to measure machine reading comprehension (MRC), often focusing on question types presumed to be difficult. Rarely, however, do task designers start by considering what systems should in fact comprehend. In this paper we make two key contributions. First, we argue that existing approaches do not adequately define comprehension; they are too unsystematic about what content is tested. Second, we present a detailed definition of comprehension -- a "Template of Understanding" -- for a widely useful class of texts, namely short narratives. We then conduct an experiment that strongly suggests existing systems are not up to the task of narrative understanding as we define it.
Abstract（参考訳）: 多くのタスクは、機械読解(MRC)を測定することを目的としており、しばしば難しいと思われる質問タイプに焦点を当てている。しかし、タスクデザイナーが実際に理解すべきシステムを考えることから始めることは滅多にありません。本稿では2つの重要な貢献をする。まず、既存のアプローチは理解を適切に定義していない、と我々は主張する。第二に、「理解のテンプレート」という理解の詳細な定義を、広く有用なテキスト、すなわち短い物語のクラスに提示する。次に、既存のシステムが定義する物語理解のタスクに頼っていないことを強く示唆する実験を行う。

関連論文リスト

Evaluating LLMs for Targeted Concept Simplification for Domain-Specific Texts [53.421616210871704]
コンテクストの欠如と難解な概念に対する不慣れさは、大人の読者がドメイン固有のテキストに難渋する大きな理由である。テキストの書き直しを簡略化し,不慣れな概念を含むテキストの理解を支援する「目標概念の簡略化」を提案する。本研究は,オープンソースおよび商用LLMの性能と,この課題に対する簡単な辞書ベースラインのベンチマークを行う。
論文参考訳（メタデータ） (2024-10-28T05:56:51Z)
Are NLP Models Good at Tracing Thoughts: An Overview of Narrative Understanding [21.900015612952146]
物語的理解は、著者の認知過程を捉え、その知識、意図、信念、欲求に関する洞察を提供する。大きな言語モデル(LLM)は文法的に一貫性のあるテキストを生成するのに優れているが、著者の思考を理解する能力は依然として不明である。これは物語理解の実践的な応用を妨げる。
論文参考訳（メタデータ） (2023-10-28T18:47:57Z)
Source Code Comprehension: A Contemporary Definition and Conceptual Model for Empirical Investigation [5.139874302398955]
研究コミュニティはソースコードの理解を概念として定義できていない。タスクによる暗黙的な定義が一般的であり、つまり、コード理解は実験的なタスクが測るものである。本稿では,ソースコードの理解を定義し,概念的枠組みを提示する参照作業を構成する。
論文参考訳（メタデータ） (2023-10-17T14:23:46Z)
ChatPRCS: A Personalized Support System for English Reading Comprehension based on ChatGPT [3.847982502219679]
本稿では,ChatPRCSと呼ばれる読解支援システムを提案する。 ChatPRCSは、理解能力予測、質問生成、自動評価などの手法を採用している。
論文参考訳（メタデータ） (2023-09-22T11:46:44Z)
Analyzing Multiple-Choice Reading and Listening Comprehension Tests [0.0]
本研究は,会話の書き起こしと聞き取りテストに基づいて,コンテキストパスを複数選択で読み取る必要があるかを検討する。自動読解システムは、文脈パスへのアクセスを部分的にあるいは全く行わずに、ランダムよりもはるかに優れた性能を発揮することが判明した。
論文参考訳（メタデータ） (2023-07-03T14:55:02Z)
Deep Understanding based Multi-Document Machine Reading Comprehension [22.319892892352414]
本稿では,多文書機械読解のための深い理解に基づくモデルを提案する。単語の意味を正確に理解するために設計された3つの深い理解モジュールがある。我々は,TriviaQA WebとDuReaderという2つの大規模ベンチマークデータセットを用いて,我々のモデルを評価した。
論文参考訳（メタデータ） (2022-02-25T12:56:02Z)
Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition [60.36540008537054]
本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。 7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
論文参考訳（メタデータ） (2021-05-13T12:27:35Z)
My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文参考訳（メタデータ） (2020-12-27T06:19:20Z)
Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
論文参考訳（メタデータ） (2020-09-12T17:20:01Z)
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension [127.3341842928421]
Natural Questionsは、新しい挑戦的な機械読解ベンチマークである。解答は2つあり、長解(典型的には1段落)と短解(長解の内にある1つ以上の実体)である。既存の方法は、これらの2つのサブタスクをトレーニング中に個別に扱い、依存関係を無視します。本稿では,文書を階層的にモデル化する多層機械読解フレームワークを提案する。
論文参考訳（メタデータ） (2020-05-12T14:20:09Z)
Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。