論文の概要: Better Reasoning Behind Classification Predictions with BERT for Fake News Detection

• arxiv url: http://arxiv.org/abs/2207.11562v1
• Date: Sat, 23 Jul 2022 17:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:07:06.731847
• Title: Better Reasoning Behind Classification Predictions with BERT for Fake News Detection
• Title（参考訳）: 偽ニュース検出のためのBERTによる分類予測の改善
• Authors: Daesoo Lee
• Abstract要約: 表現の質(埋め込み)空間が重要であり、下流のタスクパフォーマンスに直接影響することが強調されている。 本研究では、実ニュースデータセットと偽ニュースデータセットの異なるクラスに対する線形分離性の観点から、表現空間の質を視覚的・分析的に分析する。 CAMとの互換性を保ちながら、学習可能な線形層を上乗せした単純なBERTモデルは、堅牢な性能を実現するのに十分である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fake news detection has become a major task to solve as there has been an increasing number of fake news on the internet in recent years. Although many classification models have been proposed based on statistical learning methods showing good results, reasoning behind the classification performances may not be enough. In the self-supervised learning studies, it has been highlighted that a quality of representation (embedding) space matters and directly affects a downstream task performance. In this study, a quality of the representation space is analyzed visually and analytically in terms of linear separability for different classes on a real and fake news dataset. To further add interpretability to a classification model, a modification of Class Activation Mapping (CAM) is proposed. The modified CAM provides a CAM score for each word token, where the CAM score on a word token denotes a level of focus on that word token to make the prediction. Finally, it is shown that the naive BERT model topped with a learnable linear layer is enough to achieve robust performance while being compatible with CAM.
• Abstract（参考訳）: 近年、インターネット上で偽ニュースが増えているため、偽ニュース検出は解決すべき重要な課題となっている。 良い結果を示す統計的学習法に基づいて多くの分類モデルが提案されているが、分類性能の背後にある推論では不十分である。 自己指導型学習研究では、表現の質(埋め込み)が重要であり、下流タスクのパフォーマンスに直接影響を与えることが強調されている。 本研究では,実および偽のニュースデータセット上での異なるクラスに対する線形分離可能性の観点から,表現空間の品質を視覚的および解析的に解析する。 さらに分類モデルに解釈可能性を加えるために,クラス活性化マッピング(CAM)の修正を提案する。 修正されたCAMは、各ワードトークンに対するCAMスコアを提供し、ワードトークン上のCAMスコアはそのワードトークンに対するフォーカスレベルを示し、予測を行う。 最後に, 学習可能な線形層を重畳した BERT モデルは, CAM との互換性を保ちながら頑健な性能を実現するのに十分であることを示す。

関連論文リスト

• BroadCAM: Outcome-agnostic Class Activation Mapping for Small-scale Weakly Supervised Applications [69.22739434619531]
  そこで我々はBroadCAMと呼ばれる結果に依存しないCAMアプローチを提案する。 VOC2012でBroadCAM、WSSSでBCSS-WSSS、WSOLでOpenImages30kを評価することで、BroadCAMは優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-09-07T06:45:43Z)
• A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training [4.722922834127293]
  本稿では,仮想対人訓練(VAT)とBERTモデルを組み合わせた視覚的解釈に基づく自己改善型分類モデルを提案する。 具体的には、テキストの感情を分類するための分類器として、微調整のBERTモデルを用いる。 予測された感情分類ラベルは、半教師付き訓練方法によるスパム分類のための別のBERTの入力の一部として使用される。
  論文  参考訳（メタデータ） (2023-09-03T15:07:24Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection [7.29381091750894]
  偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。 まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。 最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
  論文  参考訳（メタデータ） (2021-01-14T09:05:42Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。