論文の概要: Accountable Error Characterization
- arxiv url: http://arxiv.org/abs/2105.04707v1
- Date: Mon, 10 May 2021 23:40:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-13 04:33:10.967118
- Title: Accountable Error Characterization
- Title（参考訳）: 説明責任エラーのキャラクタリゼーション
- Authors: Amita Misra, Zhe Liu and Jalal Mahmud
- Abstract要約: エラーの発生時期と発生場所を理解するために,説明責任あるエラー評価手法 AEC を提案する。
AECを用いた感情分析タスクの誤り検出をケーススタディとして実施します。
- 参考スコア（独自算出の注目度）: 7.830479195591646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Customers of machine learning systems demand accountability from the
companies employing these algorithms for various prediction tasks.
Accountability requires understanding of system limit and condition of
erroneous predictions, as customers are often interested in understanding the
incorrect predictions, and model developers are absorbed in finding methods
that can be used to get incremental improvements to an existing system.
Therefore, we propose an accountable error characterization method, AEC, to
understand when and where errors occur within the existing black-box models.
AEC, as constructed with human-understandable linguistic features, allows the
model developers to automatically identify the main sources of errors for a
given classification system. It can also be used to sample for the set of most
informative input points for a next round of training. We perform error
detection for a sentiment analysis task using AEC as a case study. Our results
on the sample sentiment task show that AEC is able to characterize erroneous
predictions into human understandable categories and also achieves promising
results on selecting erroneous samples when compared with the uncertainty-based
sampling.
- Abstract（参考訳）: 機械学習システムの顧客は、様々な予測タスクにこれらのアルゴリズムを使用している企業から説明責任を要求する。
顧客はしばしば誤った予測を理解することに興味を持ち、モデル開発者は既存のシステムにインクリメンタルな改善を施すために使用できる方法を見つけることに夢中になっているため、説明責任はシステムの限界と誤った予測の条件を理解する必要がある。
そこで本研究では,既存のブラックボックスモデルにおけるエラー発生時期と発生場所を理解するため,aecを提案する。
AECは人間の理解可能な言語機能で構築されており、モデル開発者が与えられた分類システムの主要なエラーソースを自動的に識別することができる。
また、次のトレーニングラウンドで最も情報性の高い入力ポイントのセットをサンプリングするためにも使用できる。
aecを用いた感情分析タスクの誤り検出をケーススタディとして実施する。
サンプル感情タスクの結果から,AECは誤予測を人間の理解可能なカテゴリに特徴付けることができ,不確実性に基づくサンプリングと比較した場合の誤サンプル選択において有望な結果が得られることが示された。
関連論文リスト
- Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳（メタデータ） (2023-11-18T00:24:26Z) - Generalizable Error Modeling for Human Data Annotation: Evidence From an Industry-Scale Search Data Annotation Program [0.0]
本稿では,検索関連アノテーションタスクにおける潜在的なエラーを検出するために訓練された予測誤差モデルを提案する。
そこで本研究では,中程度のモデル性能(AUC=0.65-0.75)で誤差を予測できることを示す。
本稿では,高い予測誤差確率のタスクを優先することで,修正されたアノテーションエラーの量を大幅に増加させるという,監査の文脈におけるモデルの有用性を実証する。
論文 参考訳（メタデータ） (2023-10-08T21:21:19Z) - Representing Timed Automata and Timing Anomalies of Cyber-Physical
Production Systems in Knowledge Graphs [51.98400002538092]
本稿では,学習されたタイムドオートマトンとシステムに関する公式知識グラフを組み合わせることで,CPPSのモデルベース異常検出を改善することを目的とする。
モデルと検出された異常の両方を知識グラフに記述し、モデルと検出された異常をより容易に解釈できるようにする。
論文 参考訳（メタデータ） (2023-08-25T15:25:57Z) - Pushing the Right Buttons: Adversarial Evaluation of Quality Estimation [25.325624543852086]
本稿では,機械翻訳(MT)システムにおける品質推定の逆検定法を提案する。
近年のSOTAによる人的判断と高い相関があるにもかかわらず、ある種の意味エラーはQEが検出する上で問題である。
第二に、平均的に、あるモデルが意味保存と意味調整の摂動を区別する能力は、その全体的な性能を予測できることが示される。
論文 参考訳（メタデータ） (2021-09-22T17:32:18Z) - Translation Error Detection as Rationale Extraction [36.616561917049076]
本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。
単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
論文 参考訳（メタデータ） (2021-08-27T09:35:14Z) - When and Why does a Model Fail? A Human-in-the-loop Error Detection
Framework for Sentiment Analysis [12.23497603132782]
本稿では,説明可能な特徴に基づく感情分析のための誤り検出フレームワークを提案する。
実験結果から,ループ内介入が限定された場合,未確認データの誤モデル予測を高精度に検出できることが示唆された。
論文 参考訳（メタデータ） (2021-06-02T05:45:42Z) - A Bayesian Approach to Identifying Representational Errors [19.539720986687524]
本稿では,俳優の行動観察に基づく表現誤差推定のための生成モデルを提案する。
本手法は,強化学習エージェントと人間ユーザの両方の盲点を回復できることを示す。
論文 参考訳（メタデータ） (2021-03-28T16:43:01Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳（メタデータ） (2021-01-07T18:59:33Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。