論文の概要: Machine Reading Comprehension: The Role of Contextualized Language
Models and Beyond
- arxiv url: http://arxiv.org/abs/2005.06249v1
- Date: Wed, 13 May 2020 10:58:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 09:57:25.133327
- Title: Machine Reading Comprehension: The Role of Contextualized Language
Models and Beyond
- Title(参考訳): 機械学習の理解:文脈化言語モデルの役割とその先
- Authors: Zhuosheng Zhang, Hai Zhao, Rui Wang
- Abstract要約: 機械読解 (MRC) は、機械に人間の言語を読み、理解するように教えることを目的としている。
深層ニューラルネットワークの爆発と文脈化された言語モデル(CLM)の進化により、MRCの研究は2つの大きなブレークスルーを経験した。
- 参考スコア(独自算出の注目度): 85.53037880415734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine reading comprehension (MRC) aims to teach machines to read and
comprehend human languages, which is a long-standing goal of natural language
processing (NLP). With the burst of deep neural networks and the evolution of
contextualized language models (CLMs), the research of MRC has experienced two
significant breakthroughs. MRC and CLM, as a phenomenon, have a great impact on
the NLP community. In this survey, we provide a comprehensive and comparative
review on MRC covering overall research topics about 1) the origin and
development of MRC and CLM, with a particular focus on the role of CLMs; 2) the
impact of MRC and CLM to the NLP community; 3) the definition, datasets, and
evaluation of MRC; 4) general MRC architecture and technical methods in the
view of two-stage Encoder-Decoder solving architecture from the insights of the
cognitive process of humans; 5) previous highlights, emerging topics, and our
empirical analysis, among which we especially focus on what works in different
periods of MRC researches. We propose a full-view categorization and new
taxonomies on these topics. The primary views we have arrived at are that 1)
MRC boosts the progress from language processing to understanding; 2) the rapid
improvement of MRC systems greatly benefits from the development of CLMs; 3)
the theme of MRC is gradually moving from shallow text matching to cognitive
reasoning.
- Abstract(参考訳): machine reading comprehension(mrc)は、自然言語処理(nlp)の長年の目標である、機械に人間の言語を読み解くことを教えることを目的としている。
深層ニューラルネットワークの爆発と文脈化された言語モデル(CLM)の進化により、MRCの研究は2つの大きなブレークスルーを経験した。
MRCとCLMは、現象として、NLPコミュニティに大きな影響を与えます。
本調査では,MRCに関する総合的,比較的な研究内容について概説する。
1) MRC と CLM の起源と発展,特に CLM の役割に焦点をあてて
2) MRCとCLMがNLPコミュニティに与える影響
3) MRCの定義,データセット及び評価
4)人間の認知過程の洞察に基づく2段階エンコーダ・デコーダ解法の観点からの一般的なmrcアーキテクチャ及び技術手法
5) これまでのハイライト,話題の出現,そして我々の経験的分析は,特にMRC研究の異なる期間で何が機能するかに注目している。
本稿では,これらのトピックに関する分類と分類を提案する。
私たちが到達した主要な見解は、
1) MRCは言語処理から理解への進歩を促進する。
2)mrcシステムの急速な改善は,clmの開発から大きな利益を得る。
3) MRCのテーマは, 浅いテキストマッチングから認知的推論へと徐々に移りつつある。
関連論文リスト
- DualFocus: Integrating Macro and Micro Perspectives in Multi-modal Large
Language Models [85.4852517178828]
マルチモーダル大言語モデル(MLLM)におけるマクロ・マイクロ視点の統合フレームワークであるDualFocusについて述べる。
本研究は,DualFocusが総合的な洞察と詳細な検査のバランスをとる上で優れていることを示し,MLLMの幻覚例を著しく減らした。
論文 参考訳(メタデータ) (2024-02-22T18:26:02Z) - Bridging Causal Discovery and Large Language Models: A Comprehensive
Survey of Integrative Approaches and Future Directions [10.226735765284852]
因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。
本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
論文 参考訳(メタデータ) (2024-02-16T20:48:53Z) - Large Model Based Referring Camouflaged Object Detection [51.80619142347807]
Referring camouflaged object detection (Ref-COD)は、テキストまたはビジュアル参照にマッチした特定のcamouflaged objectを分割することを目的とした、最近提案された問題である。
我々のモチベーションは、最近のMLLM(Multimodal Large Language Models)のセマンティックインテリジェンスと本質的な知識をフル活用して、この複雑なタスクを人間的な方法で分解することである。
MLKGと呼ばれるRef-CODのための大規模モデルベースマルチレベル知識誘導型マルチモーダル手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T13:45:09Z) - CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。
CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
論文 参考訳(メタデータ) (2023-06-15T15:49:51Z) - A Comprehensive Survey on Multi-hop Machine Reading Comprehension
Approaches [0.0]
機械読解 (MRC) は自然言語処理(NLP)における長年の話題である
近年の研究では、マルチホップ MRC に焦点が当てられているが、これは MRC のより困難な拡張である。
本研究は、2018年から2022年までの31研究に基づいて、マルチホップMRCアプローチの最近の進歩を調査することを目的としている。
論文 参考訳(メタデータ) (2022-12-08T04:51:54Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z) - A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and
Benchmark Datasets [5.54205518616467]
機械読み取り(Machine Reading、MRC)は、自然言語処理(NLP)の研究分野である。
MRCモデルの多くは、さまざまなベンチマークデータセットで人のパフォーマンスをすでに上回っている。
これは、既存のデータセット、評価指標、モデルを改善して、現在のMCCモデルを"リアル"な理解へと移行する必要性を示しています。
論文 参考訳(メタデータ) (2020-06-21T19:18:54Z) - Enhancing Answer Boundary Detection for Multilingual Machine Reading
Comprehension [86.1617182312817]
そこで我々は,句境界管理を付加するために,微調整段階における2つの補助的タスクを提案する。
混合機械読解タスクは、質問または通過を他の言語に翻訳し、言語横断の問合せペアを構築する。
Webから抽出した知識フレーズを活用する言語に依存しない知識マスキングタスク。
論文 参考訳(メタデータ) (2020-04-29T10:44:00Z) - A Study of the Tasks and Models in Machine Reading Comprehension [3.6985039575807246]
本報告では, 単純推論および複雑なMRCタスクについて概説する。
また、将来の研究のためのオープンな問題も提案している。
論文 参考訳(メタデータ) (2020-01-23T16:11:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。