論文の概要: What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus

• arxiv url: http://arxiv.org/abs/2609.25006v1
• Date: Sun, 26 Jul 2026 11:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.828632
• Title: What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus
• Title（参考訳）: 99%の正確さは何か? 広く使われているフェイクニュースコーパスにおけるショートカット学習の再現可能な監査
• Abstract要約: ISOT/Kaggle "Fake and Real News"コーパスで訓練されたテキスト分類器は、常に精度を報告し、F1は0.98以上である。 コーパスを3つのリークチャネルと2つの分散シフトプロトコルに沿って監査し、すべてのコードと派生番号を解放する。 3つのモデルはいずれも最寄りのランキング(ROC-AUC 0.54-0.57)に落ち、最下位のベースラインには勝っていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classifiers trained on the ISOT/Kaggle "Fake and Real News" corpus routinely report accuracy and F1 above 0.98, a level of performance that sits uneasily beside the difficulty of assessing veracity. Using a transparent TF-IDF and linear-classifier pipeline as a measurement instrument, we audit the corpus along three leakage channels and two distribution-shift protocols, releasing all code and derived numbers. First, the benchmark is partly degenerate: a classifier given only the subject metadata field, with the article text discarded, attains F1 = 1.000, since the two classes have disjoint subjects. Second, removing all three leakage channels, metadata, a newswire source tag present in 99.2% of real articles, and 6,251 duplicate documents contaminating 19.4% of a naive test split, lowers F1 by only 1.21 points (0.9935 to 0.9814); the residual signal is diffuse editorial style rather than a few giveaway tokens, since deleting the 1,000 highest-weight unigrams still leaves F1 = 0.926. Third, this style signal does not transfer: under a topic-disjoint protocol, average precision falls from 0.9995 to 0.9475 and deployed F1 from 0.9905 to 0.8067, with a prior-matched analysis confirming a genuine 5.2-point loss of discrimination, while temporal transfer is nearly lossless. A fine-tuned DistilBERT is stronger in-distribution (F1 = 0.9993) but degrades far more under topic shift, losing 12.9 average-precision points against the linear model's 5.2. Transferred to the independent LIAR benchmark, all three models fall to near-chance ranking (ROC-AUC 0.54-0.57), none beating a majority-class baseline. We conclude that within-corpus scores here quantify source and topic separability rather than veracity, that added capacity exploits the shortcut rather than avoiding it, and we recommend metadata-only, small-sample, and topic-disjoint baselines as inexpensive diagnostics for future work.
• Abstract（参考訳）: ISOT/Kaggle "Fake and Real News"コーパスでトレーニングされたテキスト分類器は、常に正確さを報告し、F1は0.98を超えている。 透過的なTF-IDFと線形分類器のパイプラインを計測器として、3つのリークチャネルと2つの分散シフトプロトコルに沿ってコーパスを監査し、全てのコードと導出した数値を解放する。 まず、ベンチマークは部分的に退化している: 対象のメタデータフィールドのみに与えられる分類器で、記事のテキストは破棄され、F1 = 1.000となる。 第2に、3つのリークチャネル、メタデータ、実際の記事の99.2%に存在するニュースワイヤソースタグ、6,251件の重複文書は、偽テスト分割の19.4%を汚染し、F1をわずか1.21ポイント(0.9935から0.99814まで)下げる。 トピック分離プロトコルでは、平均精度は0.9995から0.9475に低下し、F1は0.9905から0.8067に展開する。 微調整の DistilBERT はより強い分布(F1 = 0.9993)であるが、トピックシフトによりはるかに劣化し、線形モデルの 5.2 に対して平均 12.9 の精度ポイントが失われる。 独立したLIARベンチマークに移行した3つのモデルは全て、最上位のベースライン(ROC-AUC 0.54-0.57)に該当する。 コーパス内スコアは、正確性よりもソースとトピックの分離性を定量化し、キャパシティがショートカットを悪用するので、回避せず、メタデータのみ、小さなサンプル、トピック非結合のベースラインを将来の作業の安価な診断基準として推奨する。

関連論文リスト

• Beyond Final-Token Classification: Heterogeneous Readouts for Evidence-Grounded Suicide Risk Detection [10.766937373263204]
  出力実現から意味的検証を分離するヘテロジニアス・リードアウト分解(HRD)を導入する。 HRDは、通常リスクの4つの潜伏スコアを比較し、ほとんどの要因に対してトークンマージンを保持し、一方の共有潜伏プローブを通して7つのラベルをルーティングする。 これらの結果は, セマンティック表現のみではなく, 解答境界を測定可能な誤差源として同定する。
  論文  参考訳（メタデータ） (2026-09-19T05:01:17Z)
• A Probe Shift Is Not a Fairness Fix: The Limits of Representation Steering in Speech Models [9.715150075665354]
  我々は、事前訓練されたASRエンコーダから線形に読み取れる話者リンク属性が、グループ単語エラー率のギャップを減らすのに有用な方向を与えるかどうかを問う。 本研究は,表現,伝播,タスクレベルでの発話バイアス介入の評価を動機づけるものである。
  論文  参考訳（メタデータ） (2026-09-16T12:01:30Z)
• Replicating TRACE: A Practitioner's Guide to Its Threshold and Particle Budget [0.10923877073891443]
  TRACEは、事前訓練された自己回帰シーケンスモデルから因果グラフを読み出す。 正確な介入真理に対する平均F1は、語彙サイズ1000で0.90-0.91に達する。
  論文  参考訳（メタデータ） (2026-09-01T11:48:16Z)
• MaliciousSkillBench: A Comprehensive Benchmark for Malicious Agent Skill Detection [24.37473229751569]
  MaliciousSkillBenchは、悪意のあるエージェントスキル検出のための包括的なベンチマークである。 我々は13の公開ソースを統合し、そのうち11つはCoreの悪意のあるアーティファクトに貢献し、8,414の生の悪意のあるレコードを7,539の正規化されたユニクティックIDに減らした。 そして、3つの学習されたテキスト検出器と3つの既製のスキルスキャナを評価した。
  論文  参考訳（メタデータ） (2026-08-20T11:13:00Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Separating Secrets from Placeholders: A Hybrid CNN-CodeBERT Framework for Three-Class Credential Leakage Detection [3.853925623717688]
  公開ソースコードリポジトリのクレデンシャルリークは、重大なセキュリティ脅威を引き起こす。 本稿では,プレースホルダーや弱い資格情報を個別のクラスとして明示的にモデル化する3クラス分類フレームワークを提案する。 10のプログラミング言語にまたがる9,426のサンプルを新たに構築したデータセットに対して,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2026-05-29T16:36:20Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
  フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。 複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
  論文  参考訳（メタデータ） (2025-09-08T11:07:47Z)
• Probabilistic Soundness Guarantees in LLM Reasoning Chains [37.440902632372904]
  ARES(Autoregressive Reasoning Entailment Stability)は、事前に検証された前提のみに基づいて、各推論ステップを評価する確率的フレームワークである。 ARESは4つのベンチマークで最先端のパフォーマンスを達成し、非常に長い合成推論チェーン上で優れた堅牢性を示す。
  論文  参考訳（メタデータ） (2025-07-17T09:40:56Z)
• Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
  CANデータからトラックの積載量の検出について検討する。 私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。 我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:58:22Z)
• MutexMatch: Semi-supervised Learning with Mutex-based Consistency Regularization [36.019086181632005]
  ミューテックスをベースとした整合性正規化(Mutex)を提案し,信頼性の低いサンプルを新しい方法で活用する。 MutexMatchは、CIFAR-10、CIFAR-100、SVHN、STL-10、mini-ImageNetなど、複数のベンチマークデータセットで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-27T14:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。