論文の概要: Semantics Altering Modifications for Evaluating Comprehension in Machine
Reading
- arxiv url: http://arxiv.org/abs/2012.04056v1
- Date: Mon, 7 Dec 2020 21:00:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 06:40:08.492186
- Title: Semantics Altering Modifications for Evaluating Comprehension in Machine
Reading
- Title(参考訳): 機械読解における理解度評価のための意味論的変化
- Authors: Viktor Schlegel, Goran Nenadic, Riza Batista-Navarro
- Abstract要約: 機械読解モデルがセマンティック・アターリング・モディフィケーションを正しく処理できるかどうかを検討する。
本稿では,原例と変更例を特徴とするチャレンジセットを自動生成・調整する手法を提案する。
本手法を用いて,SAMデータを正しく処理する能力について,MRCモデルを評価する。
- 参考スコア(独自算出の注目度): 1.1355639618103164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in NLP have yielded impressive results for the task of machine
reading comprehension (MRC), with approaches having been reported to achieve
performance comparable to that of humans. In this paper, we investigate whether
state-of-the-art MRC models are able to correctly process Semantics Altering
Modifications (SAM): linguistically-motivated phenomena that alter the
semantics of a sentence while preserving most of its lexical surface form. We
present a method to automatically generate and align challenge sets featuring
original and altered examples. We further propose a novel evaluation
methodology to correctly assess the capability of MRC systems to process these
examples independent of the data they were optimised on, by discounting for
effects introduced by domain shift. In a large-scale empirical study, we apply
the methodology in order to evaluate extractive MRC models with regard to their
capability to correctly process SAM-enriched data. We comprehensively cover 12
different state-of-the-art neural architecture configurations and four training
datasets and find that -- despite their well-known remarkable performance --
optimised models consistently struggle to correctly process semantically
altered data.
- Abstract(参考訳): NLPの進歩は、機械読解(MRC)の課題に対して印象的な結果をもたらし、人間に匹敵する性能を達成するためのアプローチが報告されている。
本稿では,現在最先端のmrcモデルが,文の意味的変化 (sam) を正しく処理できるかどうかについて検討する。
本稿では,原例と修正例を特徴とするチャレンジセットを自動生成・調整する手法を提案する。
さらに, ドメインシフトによって引き起こされる効果を割引することで, 最適化したデータによらず, これらの事例を処理できるmrcシステムの能力を正確に評価する新しい評価手法を提案する。
大規模実験研究において,サムエンリッチデータを正しく処理する能力について,抽出型mrcモデルを評価するために本手法を適用した。
我々は12の異なる最先端のニューラルネットワークの構成と4つのトレーニングデータセットを包括的にカバーし、よく知られたパフォーマンスにもかかわらず、最適化されたモデルは、意味的に変化するデータを正しく処理するのに常に苦労していることを見出します。
関連論文リスト
- Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。
我々は推論プロセスを自動微分に適した最適化問題に変換する。
提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
論文 参考訳(メタデータ) (2024-03-08T14:45:18Z) - The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳(メタデータ) (2024-02-22T20:36:24Z) - Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳(メタデータ) (2021-09-03T14:29:20Z) - Ensemble Learning-Based Approach for Improving Generalization Capability
of Machine Reading Comprehension Systems [0.7614628596146599]
機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。
分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。
本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
論文 参考訳(メタデータ) (2021-07-01T11:11:17Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - PermuteAttack: Counterfactual Explanation of Machine Learning Credit
Scorecards [0.0]
本稿では、金融における小売クレジットスコアリングに使用される機械学習(ML)モデルの検証と説明のための新しい方向性と方法論について述べる。
提案するフレームワークは人工知能(AI)のセキュリティと敵MLの分野からモチベーションを引き出す。
論文 参考訳(メタデータ) (2020-08-24T00:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。