論文の概要: When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text
- arxiv url: http://arxiv.org/abs/2608.15338v1
- Date: Sat, 15 Aug 2026 17:41:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.272112
- Title: When AI Rewrites, Classifiers Relax: Uncertainty-Aware Sentiment Analysis on Sarcastic and AI-Paraphrased Social Text
- Title（参考訳）: AIが書き直すと、分類器が遅延する: サーカシックテキストとAIパラフレーズ付きソーシャルテキストにおける不確かさを意識した知覚分析
- Abstract要約: 皮肉テキストの信頼スコアは、非皮肉テキストよりも著しく低い。
以上の結果から,信頼度の高いシングルラベル予測から不確実性に留意することへの転換が示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentiment classifiers are increasingly applied to social media content that is either sarcastic or AI-generated --- two distributional regimes where standard evaluations offer little guidance. We present a three-part empirical study of sentiment classifier behaviour under these conditions. First, we find that confidence scores on sarcastic text are significantly lower than on non-sarcastic text (Mann--Whitney $p = 2 \times 10^{-6}$), confirming that classifiers sense their own uncertainty on ironic content even without explicit uncertainty modelling. Second, and counterintuitively, we show that sentiment classifiers achieve higher accuracy on AI-paraphrased reviews than on the original human-authored text (RoBERTa: $+5.8$ pp for Qwen3.5-4B paraphrases, $+3.7$ pp for Gemma4-E4B), revealing a cross-domain stylistic alignment effect: AI paraphrases remove distributional noise that confounds Twitter-trained classifiers, producing cleaner, more prototypical sentiment text. Third, we demonstrate that a lightweight abstention wrapper --- flagging the $14\%$ of inputs with confidence below $0.6$ --- improves accuracy from 82.2\% to 88.9\% ($+6.7$ pp) on the retained set. We further compare Semantic Entropy and MC-Dropout-style disagreement as uncertainty signals and find near-identical AUROC ($0.650$ vs.\ $0.646$) on sarcastic text, suggesting that for short social media inputs, both methods are interchangeable. Our results motivate a shift from confident single-label prediction to uncertainty-aware abstention in high-stakes sentiment applications such as mental health flagging and content moderation.
- Abstract（参考訳）: センチメント分類器は、標準的な評価がほとんどない2つの分散体制であるサーカシックまたはAI生成のソーシャルメディアコンテンツに、ますます適用されてきている。
本研究は,これらの条件下での感情分類者の行動に関する3つの実験的研究である。
まず,非皮肉文(Mann--Whitney $p = 2 \times 10^{-6}$)に比べて,皮肉文の信頼度スコアが有意に低いことが確認された。
第2に、感情分類器は、オリジナルの人文テキスト(RoBERTa: $+5.8$ pp for Qwen3.5-4B paraphrases, $+3.7$ pp for Gemma4-E4B)よりも精度の高いAIパラフレーズのレビューを達成していることを示す。
第3に、軽量な禁断ラッパー -- 信頼度が0.6ドル未満の114\%の入力をフラグ付け -- は、保持セットの精度を82.2\%から88.9\%(+6.7$ pp)に向上させる。
さらにセマンティックエントロピーとMC-Dropoutスタイルの不一致を不確実性信号として比較し、ほぼ同一のAUROC(0.650ドル対)を求める。
sarcastic textの$0.646$は、短いソーシャルメディア入力の場合、どちらの方法も交換可能であることを示唆している。
本研究は,メンタルヘルスフラグングやコンテンツモデレーションといった高評価の感情アプリケーションにおいて,自信あるシングルラベル予測から不確実性意識の排除への転換を動機づけるものである。
関連論文リスト
- Account-History Features for Social Bot Detection in the Era of Large Language Models [0.0]
ソーシャルプラットフォーム上でのボット検出は、歴史的に、投稿やプロフィールフィールドのテキストから抽出されたアカウント・メタタ機能と機能の組み合わせに依存してきた。
ボットオペレータは、GPT-4またはClaudeを介してすべてのポストを実行し、表面統計が人間の文章と区別しにくいテキストを生成することができる。
本稿では,攻撃者が低コストで容易に操作できない特徴によって,検出問題のどの程度を解決できるかを問う。
論文 参考訳（メタデータ） (2026-06-06T07:01:07Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Beating the Style Detector: Three Hours of Agentic Research on the AI-Text Arms Race [3.9508043303559828]
実験的なNLP研究を再現するには数週間を要した。
全コード、648ドル(約6,800円)の原案、訓練された検出器、診断、および敵の軌道がリリースされている。
論文 参考訳（メタデータ） (2026-05-04T14:10:41Z) - Uncertainty Estimation for the Open-Set Text Classification systems [1.0557657302168184]
テキスト領域に対するホロスティック不確実性推定法(HolUE)を適用する。
テキスト認識システムにおける予測誤りの主な原因は,不規則な定式化クエリに起因するテキストの不確かさと,データ分布のあいまいさに関連するギャラリーの不確かさである。
論文 参考訳（メタデータ） (2026-03-17T12:25:34Z) - UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression [8.823417072582348]
共感回帰のための教師付き学習は、騒々しい自己報告の共感スコアによって挑戦される。
回帰設定におけるラベルノイズを捕捉する不確実性を考慮した確率的言語モデリングフレームワークUPLMEを提案する。
論文 参考訳（メタデータ） (2025-08-05T14:46:28Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳（メタデータ） (2020-11-15T21:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。