論文の概要: Towards Automated Error Analysis: Learning to Characterize Errors
- arxiv url: http://arxiv.org/abs/2201.05017v2
- Date: Fri, 14 Jan 2022 01:44:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 12:20:36.601979
- Title: Towards Automated Error Analysis: Learning to Characterize Errors
- Title(参考訳): 自動エラー分析に向けて:エラーを識別する学習
- Authors: Tong Gao, Shivang Singh, Raymond J. Mooney
- Abstract要約: 本稿では,システムのエラーの種類を特徴付ける解釈可能なルールを自動的に学習する「メタラーニング」手法を提案する。
我々はVilBERT,Visual Question Answering,RoBERTa,Common Sense Question Answeringにアプローチを適用した。
- 参考スコア(独自算出の注目度): 18.430959948385084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Characterizing the patterns of errors that a system makes helps researchers
focus future development on increasing its accuracy and robustness. We propose
a novel form of "meta learning" that automatically learns interpretable rules
that characterize the types of errors that a system makes, and demonstrate
these rules' ability to help understand and improve two NLP systems. Our
approach works by collecting error cases on validation data, extracting
meta-features describing these samples, and finally learning rules that
characterize errors using these features. We apply our approach to VilBERT, for
Visual Question Answering, and RoBERTa, for Common Sense Question Answering.
Our system learns interpretable rules that provide insights into systemic
errors these systems make on the given tasks. Using these insights, we are also
able to "close the loop" and modestly improve performance of these systems.
- Abstract(参考訳): システムのエラーパターンを特徴づけることによって、研究者たちは、その正確性と堅牢性を高めることに集中することができる。
本研究では,2つのNLPシステムの理解と改善を支援するために,システムのエラーの種類を特徴付ける解釈可能なルールを自動的に学習する「メタラーニング」手法を提案する。
検証データのエラーケースを収集し、これらのサンプルを記述するメタ特徴を抽出し、最後にこれらの特徴を使ってエラーを特徴付けるルールを学習する。
我々はVilBERT,Visual Question Answering,RoBERTa,Common Sense Question Answeringにアプローチを適用した。
システムは解釈可能なルールを学習し、システムが与えられたタスクで行うシステム的エラーに対する洞察を提供する。
これらの洞察を使って、ループを閉じて、システムの性能を適度に改善することもできます。
関連論文リスト
- Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳(メタデータ) (2023-11-18T00:24:26Z) - Representing Timed Automata and Timing Anomalies of Cyber-Physical
Production Systems in Knowledge Graphs [51.98400002538092]
本稿では,学習されたタイムドオートマトンとシステムに関する公式知識グラフを組み合わせることで,CPPSのモデルベース異常検出を改善することを目的とする。
モデルと検出された異常の両方を知識グラフに記述し、モデルと検出された異常をより容易に解釈できるようにする。
論文 参考訳(メタデータ) (2023-08-25T15:25:57Z) - Simulating Bandit Learning from User Feedback for Extractive Question
Answering [51.97943858898579]
教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。
当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
論文 参考訳(メタデータ) (2022-03-18T17:47:58Z) - Capturing Failures of Large Language Models via Human Cognitive Biases [18.397404180932373]
OpenAIのCodex errsは、入力プロンプトのフレーム化、アンカーへの出力の調整、頻繁なトレーニング例を模倣する出力へのバイアスなどに基づいている。
我々の実験は、認知科学が現代の機械学習システムがどのように振る舞うかをよりよく理解するために有用な跳躍点になり得ることを示唆している。
論文 参考訳(メタデータ) (2022-02-24T18:58:52Z) - A Syntax-Guided Grammatical Error Correction Model with Dependency Tree
Correction [83.14159143179269]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。
本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。
我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
論文 参考訳(メタデータ) (2021-11-05T07:07:48Z) - Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。
また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。
半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
論文 参考訳(メタデータ) (2021-09-23T23:26:59Z) - Accountable Error Characterization [7.830479195591646]
エラーの発生時期と発生場所を理解するために,説明責任あるエラー評価手法 AEC を提案する。
AECを用いた感情分析タスクの誤り検出をケーススタディとして実施します。
論文 参考訳(メタデータ) (2021-05-10T23:40:01Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z) - Pattern Learning for Detecting Defect Reports and Improvement Requests
in App Reviews [4.460358746823561]
本研究では、レビューを欠陥報告と改善の要求として分類することで、この行動可能な洞察の欠如を狙う新しいアプローチに従う。
我々は,遺伝的プログラミングを通じて語彙・意味パターンを学習できる教師付きシステムを採用している。
自動学習パターンは手作業で生成したパターンよりも優れており、生成可能であることを示す。
論文 参考訳(メタデータ) (2020-04-19T08:13:13Z) - DisCor: Corrective Feedback in Reinforcement Learning via Distribution
Correction [96.90215318875859]
ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。
本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
論文 参考訳(メタデータ) (2020-03-16T16:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。