論文の概要: Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond

• arxiv url: http://arxiv.org/abs/2005.06249v1
• Date: Wed, 13 May 2020 10:58:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 09:57:25.133327
• Title: Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
• Title（参考訳）: 機械学習の理解:文脈化言語モデルの役割とその先
• Authors: Zhuosheng Zhang, Hai Zhao, Rui Wang
• Abstract要約: 機械読解 (MRC) は、機械に人間の言語を読み、理解するように教えることを目的としている。 深層ニューラルネットワークの爆発と文脈化された言語モデル(CLM)の進化により、MRCの研究は2つの大きなブレークスルーを経験した。
• 参考スコア（独自算出の注目度）: 85.53037880415734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine reading comprehension (MRC) aims to teach machines to read and comprehend human languages, which is a long-standing goal of natural language processing (NLP). With the burst of deep neural networks and the evolution of contextualized language models (CLMs), the research of MRC has experienced two significant breakthroughs. MRC and CLM, as a phenomenon, have a great impact on the NLP community. In this survey, we provide a comprehensive and comparative review on MRC covering overall research topics about 1) the origin and development of MRC and CLM, with a particular focus on the role of CLMs; 2) the impact of MRC and CLM to the NLP community; 3) the definition, datasets, and evaluation of MRC; 4) general MRC architecture and technical methods in the view of two-stage Encoder-Decoder solving architecture from the insights of the cognitive process of humans; 5) previous highlights, emerging topics, and our empirical analysis, among which we especially focus on what works in different periods of MRC researches. We propose a full-view categorization and new taxonomies on these topics. The primary views we have arrived at are that 1) MRC boosts the progress from language processing to understanding; 2) the rapid improvement of MRC systems greatly benefits from the development of CLMs; 3) the theme of MRC is gradually moving from shallow text matching to cognitive reasoning.
• Abstract（参考訳）: machine reading comprehension(mrc)は、自然言語処理(nlp)の長年の目標である、機械に人間の言語を読み解くことを教えることを目的としている。 深層ニューラルネットワークの爆発と文脈化された言語モデル(CLM)の進化により、MRCの研究は2つの大きなブレークスルーを経験した。 MRCとCLMは、現象として、NLPコミュニティに大きな影響を与えます。 本調査では,MRCに関する総合的,比較的な研究内容について概説する。 1) MRC と CLM の起源と発展,特に CLM の役割に焦点をあてて 2) MRCとCLMがNLPコミュニティに与える影響 3) MRCの定義,データセット及び評価 4)人間の認知過程の洞察に基づく2段階エンコーダ・デコーダ解法の観点からの一般的なmrcアーキテクチャ及び技術手法 5) これまでのハイライト,話題の出現,そして我々の経験的分析は,特にMRC研究の異なる期間で何が機能するかに注目している。 本稿では,これらのトピックに関する分類と分類を提案する。 私たちが到達した主要な見解は、 1) MRCは言語処理から理解への進歩を促進する。 2)mrcシステムの急速な改善は,clmの開発から大きな利益を得る。 3) MRCのテーマは, 浅いテキストマッチングから認知的推論へと徐々に移りつつある。

関連論文リスト

• Improving Causal Reasoning in Large Language Models: A Survey [16.55801836321059]
  因果推論は知性の重要な側面であり、問題解決、意思決定、世界理解に不可欠である。 大規模言語モデル(LLM)は出力に対して有理性を生成することができるが、因果推論を確実に行う能力は未だ不明である。
  論文  参考訳（メタデータ） (2024-10-22T04:18:19Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Bridging Causal Discovery and Large Language Models: A Comprehensive Survey of Integrative Approaches and Future Directions [10.226735765284852]
  因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。 本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-02-16T20:48:53Z)
• Discovery of the Hidden World with Large Language Models [95.58823685009727]
  本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-06T12:18:54Z)
• A Comprehensive Survey on Multi-hop Machine Reading Comprehension Approaches [0.0]
  機械読解 (MRC) は自然言語処理(NLP)における長年の話題である 近年の研究では、マルチホップ MRC に焦点が当てられているが、これは MRC のより困難な拡張である。 本研究は、2018年から2022年までの31研究に基づいて、マルチホップMRCアプローチの最近の進歩を調査することを目的としている。
  論文  参考訳（メタデータ） (2022-12-08T04:51:54Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets [5.54205518616467]
  機械読み取り(Machine Reading、MRC)は、自然言語処理(NLP)の研究分野である。 MRCモデルの多くは、さまざまなベンチマークデータセットで人のパフォーマンスをすでに上回っている。 これは、既存のデータセット、評価指標、モデルを改善して、現在のMCCモデルを"リアル"な理解へと移行する必要性を示しています。
  論文  参考訳（メタデータ） (2020-06-21T19:18:54Z)
• A Study of the Tasks and Models in Machine Reading Comprehension [3.6985039575807246]
  本報告では, 単純推論および複雑なMRCタスクについて概説する。 また、将来の研究のためのオープンな問題も提案している。
  論文  参考訳（メタデータ） (2020-01-23T16:11:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。