論文の概要: Small data problems in political research: a critical replication study
- arxiv url: http://arxiv.org/abs/2109.12911v1
- Date: Mon, 27 Sep 2021 09:55:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 02:42:41.380198
- Title: Small data problems in political research: a critical replication study
- Title（参考訳）: 政治研究における小さなデータ問題--重要な複製研究
- Authors: Hugo de Vos, Suzan Verberne
- Abstract要約: このデータから, ランダムな列車-テスト分割のばらつきに対して, 分類モデルに非常に敏感な結果が得られた。
また、適用された前処理により、データが極めてスパースであることも示している。
以上の結果から,組織評価ツイートの自動分類に関するA&Wの結論は維持できないと論じる。
- 参考スコア（独自算出の注目度）: 5.698280399449707
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In an often-cited 2019 paper on the use of machine learning in political
research, Anastasopoulos & Whitford (A&W) propose a text classification method
for tweets related to organizational reputation. The aim of their paper was to
provide a 'guide to practice' for public administration scholars and
practitioners on the use of machine learning. In the current paper we follow up
on that work with a replication of A&W's experiments and additional analyses on
model stability and the effects of preprocessing, both in relation to the small
data size. We show that (1) the small data causes the classification model to
be highly sensitive to variations in the random train-test split, and that (2)
the applied preprocessing causes the data to be extremely sparse, with the
majority of items in the data having at most two non-zero lexical features.
With additional experiments in which we vary the steps of the preprocessing
pipeline, we show that the small data size keeps causing problems, irrespective
of the preprocessing choices. Based on our findings, we argue that A&W's
conclusions regarding the automated classification of organizational reputation
tweets -- either substantive or methodological -- can not be maintained and
require a larger data set for training and more careful validation.
- Abstract（参考訳）: 政治研究における機械学習の利用に関する2019年の論文で、Anastasopoulos & Whitford (A&W)は組織的評判に関連するツイートのテキスト分類法を提案している。
彼らの論文の目的は、機械学習の利用に関する行政学者や実践者に「実践の指針」を提供することであった。
本稿では,a&wの実験を再現し,モデル安定性とプリプロセッシングの効果について,データサイズが小さい場合にもさらなる解析を行った。
その結果,(1)小さなデータではランダムな列車テスト分割のばらつきに敏感な分類モデルが生成され,(2)適用前の処理ではデータは非常にばらばらになり,データ内の項目の大部分は非ゼロな語彙的特徴を持つことがわかった。
さらに,前処理パイプラインのステップを異にする実験を行い,前処理の選択によらず,小さなデータサイズが問題を引き起こし続けることを示した。
この結果から,組織評価ツイートの自動分類に関するA&Wの結論 – 実体的あるいは方法論的であれ – は維持できず,トレーニングやより慎重な検証のためにより大きなデータセットが必要である,と論じる。
関連論文リスト
- A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data [9.57464542357693]
実世界のモデリングパイプラインは、しばしばデータセット固有の前処理と特徴工学を必要とするため、モデル中心の評価は偏りがあることを実証する。
Kaggleコンペティションから10の関連するデータセットを選択し、データセット毎に専門家レベルの前処理パイプラインを実装します。
データセット固有の機能エンジニアリングの後、モデルランキングは大幅に変化し、性能差が減少し、モデル選択の重要性が低下する。
論文 参考訳（メタデータ） (2024-07-02T09:54:39Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Are fairness metric scores enough to assess discrimination biases in
machine learning? [4.073786857780967]
我々は,Biosデータセットに焦点をあて,学習課題は,その伝記に基づいて個人の職業を予測することである。
我々は、グループワイドフェアネスメトリクスを扱う理論的議論の重要な制限に対処する。
そして、トレーニングセットのサイズが、合理的に正確な予測を学習するのに十分な場合、どの程度の信頼性が一般的なバイアスの尺度に異なるのかを問う。
論文 参考訳（メタデータ） (2023-06-08T15:56:57Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Representation Bias in Data: A Survey on Identification and Resolution
Techniques [26.142021257838564]
データ駆動型アルゴリズムは、それらが扱うデータと同程度にしか機能しないが、データセット、特にソーシャルデータはしばしば、マイノリティを適切に表現できない。
データにおける表現バイアスは、歴史的差別から、データ取得と作成方法におけるバイアスのサンプリングまで、さまざまな理由により起こりうる。
本稿では,後日どのように消費されるかに関わらず,表現バイアスをデータセットの特徴として同定し,解決する方法についての文献をレビューする。
論文 参考訳（メタデータ） (2022-03-22T16:30:22Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳（メタデータ） (2021-06-02T00:48:33Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Machine Identification of High Impact Research through Text and Image
Analysis [0.4737991126491218]
本稿では,引用の可能性が低い論文から高い論文を自動的に分離するシステムを提案する。
本システムでは,文書全体の外観を推測する視覚的分類器と,コンテンツインフォームド決定のためのテキスト分類器の両方を用いる。
論文 参考訳（メタデータ） (2020-05-20T19:12:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。