論文の概要: Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can!

• arxiv url: http://arxiv.org/abs/2307.06483v1
• Date: Wed, 12 Jul 2023 23:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 16:16:33.740079
• Title: Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can!
• Title（参考訳）: 自動コンテンツ分析における誤分類は回帰バイアスを引き起こす。 修正できますか? はい できます!
• Authors: Nathan TeBlunthuis, Valerie Hase, Chung-Hong Chan
• Abstract要約: 我々は,コミュニケーション学者が誤分類バイアスをほとんど無視していることを,体系的な文献レビューで示している。 既存の統計手法では、人間のアノテータによって作成されたような「金の標準」検証データを使って誤分類バイアスを補正することができる。 我々は、Rパッケージの誤分類モデルの設計と実装を含む、そのような手法を導入し、テストする。
• 参考スコア（独自算出の注目度）: 0.8594140167290096
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Automated classifiers (ACs), often built via supervised machine learning (SML), can categorize large, statistically powerful samples of data ranging from text to images and video, and have become widely popular measurement devices in communication science and related fields. Despite this popularity, even highly accurate classifiers make errors that cause misclassification bias and misleading results in downstream analyses-unless such analyses account for these errors. As we show in a systematic literature review of SML applications, communication scholars largely ignore misclassification bias. In principle, existing statistical methods can use "gold standard" validation data, such as that created by human annotators, to correct misclassification bias and produce consistent estimates. We introduce and test such methods, including a new method we design and implement in the R package misclassificationmodels, via Monte Carlo simulations designed to reveal each method's limitations, which we also release. Based on our results, we recommend our new error correction method as it is versatile and efficient. In sum, automated classifiers, even those below common accuracy standards or making systematic misclassifications, can be useful for measurement with careful study design and appropriate error correction methods.
• Abstract（参考訳）: 教師付き機械学習(sml)によって構築される自動分類器(acs)は、テキストから画像やビデオまで、大規模で統計的に強力なデータのサンプルを分類することができ、通信科学や関連分野において広く普及している。 この人気にもかかわらず、高精度な分類器でさえ誤分類バイアスや誤解を招くようなエラーを発生させ、下流解析の結果を誤解させる。 SML応用の体系的な文献レビューで示すように、コミュニケーション研究者は誤分類バイアスをほとんど無視する。 原則として、既存の統計手法は、人間の注釈者によって作成されたような「金標準」検証データを使用して、誤分類バイアスを正し、一貫した見積もりを生成することができる。 我々は,Rパッケージの誤分類モデルの設計と実装を含む新しい手法をモンテカルロシミュレーションを用いて導入し,その手法の限界を明らかにする。 提案手法は汎用性と効率性を有するため,新しい誤り訂正手法を推奨する。 まとめると、自動分類器(共通精度基準以下のものや体系的な誤分類)は、注意深い研究設計と適切な誤り訂正方法を用いて測定するのに有用である。

関連論文リスト

• A Systematic Review of Machine Learning Approaches for Detecting Deceptive Activities on Social Media: Methods, Challenges, and Biases [0.037693031068634524]
  本稿では、機械学習(ML)モデルとディープラーニング(DL)モデルを用いて、ソーシャルメディア上の偽ニュース、スパム、偽アカウントを検出する研究を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-26T23:55:50Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
  監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。 正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。 本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-08T22:40:19Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Regularized Classification-Aware Quantization [39.04839665081476]
  本稿では,バイナリ分類タスクの分散量子化スキームを学習するアルゴリズムのクラスを提案する。 本手法は正規化分類認識量子化と呼ばれる。
  論文  参考訳（メタデータ） (2021-07-12T21:27:48Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Defuse: Harnessing Unrestricted Adversarial Examples for Debugging Models Beyond Test Accuracy [11.265020351747916]
  Defuseは、テストデータ以外のモデルエラーを自動的に検出し、修正する手法である。 本稿では, 生成モデルを用いて, モデルによって誤分類された自然発生事例を探索する逆機械学習手法に着想を得たアルゴリズムを提案する。 Defuseはテストセットの一般化を維持しながら、微調整後のエラーを修正する。
  論文  参考訳（メタデータ） (2021-02-11T18:08:42Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。