論文の概要: Towards Automated Error Analysis: Learning to Characterize Errors

• arxiv url: http://arxiv.org/abs/2201.05017v2
• Date: Fri, 14 Jan 2022 01:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 12:20:36.601979
• Title: Towards Automated Error Analysis: Learning to Characterize Errors
• Title（参考訳）: 自動エラー分析に向けて:エラーを識別する学習
• Authors: Tong Gao, Shivang Singh, Raymond J. Mooney
• Abstract要約: 本稿では,システムのエラーの種類を特徴付ける解釈可能なルールを自動的に学習する「メタラーニング」手法を提案する。 我々はVilBERT,Visual Question Answering,RoBERTa,Common Sense Question Answeringにアプローチを適用した。
• 参考スコア（独自算出の注目度）: 18.430959948385084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Characterizing the patterns of errors that a system makes helps researchers focus future development on increasing its accuracy and robustness. We propose a novel form of "meta learning" that automatically learns interpretable rules that characterize the types of errors that a system makes, and demonstrate these rules' ability to help understand and improve two NLP systems. Our approach works by collecting error cases on validation data, extracting meta-features describing these samples, and finally learning rules that characterize errors using these features. We apply our approach to VilBERT, for Visual Question Answering, and RoBERTa, for Common Sense Question Answering. Our system learns interpretable rules that provide insights into systemic errors these systems make on the given tasks. Using these insights, we are also able to "close the loop" and modestly improve performance of these systems.
• Abstract（参考訳）: システムのエラーパターンを特徴づけることによって、研究者たちは、その正確性と堅牢性を高めることに集中することができる。 本研究では,2つのNLPシステムの理解と改善を支援するために,システムのエラーの種類を特徴付ける解釈可能なルールを自動的に学習する「メタラーニング」手法を提案する。 検証データのエラーケースを収集し、これらのサンプルを記述するメタ特徴を抽出し、最後にこれらの特徴を使ってエラーを特徴付けるルールを学習する。 我々はVilBERT,Visual Question Answering,RoBERTa,Common Sense Question Answeringにアプローチを適用した。 システムは解釈可能なルールを学習し、システムが与えられたタスクで行うシステム的エラーに対する洞察を提供する。 これらの洞察を使って、ループを閉じて、システムの性能を適度に改善することもできます。

関連論文リスト

• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Interactively Diagnosing Errors in a Semantic Parser [7.136205674624813]
  本稿では,CNLUのための対話型エラー診断システムについて述べる。 モデルベース診断問題として,INLDパイプラインの最初の2段階をキャストする方法を示す。 本システムでは, 合成例における意味的誤りを診断する能力を示す。
  論文  参考訳（メタデータ） (2024-07-08T21:16:09Z)
• Retrieved In-Context Principles from Previous Mistakes [55.109234526031884]
  In-context Learning (ICL) は、入力出力の正しい例を用いて、下流のタスクにLarge Language Models (LLM) を適用するのに役立っている。 近年の進歩は、ミスから派生した原則により、モデルパフォーマンスの改善を試みている。 本稿では,新しい教師学習フレームワークであるRetrieved In-Context Principles (RICP)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T07:32:26Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Representing Timed Automata and Timing Anomalies of Cyber-Physical Production Systems in Knowledge Graphs [51.98400002538092]
  本稿では,学習されたタイムドオートマトンとシステムに関する公式知識グラフを組み合わせることで,CPPSのモデルベース異常検出を改善することを目的とする。 モデルと検出された異常の両方を知識グラフに記述し、モデルと検出された異常をより容易に解釈できるようにする。
  論文  参考訳（メタデータ） (2023-08-25T15:25:57Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
  クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。 また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。 半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-23T23:26:59Z)
• Accountable Error Characterization [7.830479195591646]
  エラーの発生時期と発生場所を理解するために,説明責任あるエラー評価手法 AEC を提案する。 AECを用いた感情分析タスクの誤り検出をケーススタディとして実施します。
  論文  参考訳（メタデータ） (2021-05-10T23:40:01Z)
• Pattern Learning for Detecting Defect Reports and Improvement Requests in App Reviews [4.460358746823561]
  本研究では、レビューを欠陥報告と改善の要求として分類することで、この行動可能な洞察の欠如を狙う新しいアプローチに従う。 我々は,遺伝的プログラミングを通じて語彙・意味パターンを学習できる教師付きシステムを採用している。 自動学習パターンは手作業で生成したパターンよりも優れており、生成可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-19T08:13:13Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。