論文の概要: Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts
- arxiv url: http://arxiv.org/abs/2608.09510v1
- Date: Mon, 10 Aug 2026 12:13:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.253734
- Title: Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts
- Title（参考訳）: ソーシャルメディア投稿におけるLCMによる偽情報検出のベンチマークと改善
- Abstract要約: この記事はBuild it, Break it, Fix it framework into Build, Break it, Repeat (BiBiR)に適合する。
BiBiR: 反復対向条件下で検出器の堅牢性をストレステストするために設計された反復セッション。
その結果、最高の逆転ブレーカーの変換は、バックトランスレーションとペルソナベースの書き換えの組み合わせによるものであることが判明した。
- 参考スコア（独自算出の注目度）: 5.771687318105755
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Detecting machine-generated disinformation on social media is increasingly difficult as large language models (LLMs) make it easier to generate and rewrite misleading content at scale. Static benchmark evaluations, measuring detector performance on fixed held-out datasets, do not capture how detectors behave when posts are deliberately transformed to evade classification. This paper adapts the Build it, Break it, Fix it framework into Build it, Break it, Repeat (BiBiR): iterative sessions designed to stress-test detectors' robustness under iterative adversarial conditions, evaluating whether models remain reliable when disinformation posts are systematically transformed to evade classification. Across five iterations, the findings show that the best adversarial breakers' transformations came from a combination of back-translation and LLM persona-based rewriting, with the best performing technique achieving a 95% label flip rate (LFR), whilst still preserving the meaning of the original posts. The best builders' model was a triplet contrastive model with a dynamic anchor switching (DASS) architecture, which achieved an average accuracy of 72.68%, outperforming the strong baseline (a fine-tuned e5-small-LoRA) by 15 percentage points on the most robust set of breakers' adversarial attacks. The results demonstrate that an iterative framework best exposes detector weaknesses and pushes robustness improvements; however, it may still require semantic preservation analysis to distinguish valid adversarial evasion from transformations that changed the original disinformation claims' meaning.
- Abstract（参考訳）: 大規模言語モデル(LLM)により、誤解を招くコンテンツを大規模に生成・書き直ししが容易になるため、ソーシャルメディア上で機械生成の偽情報を検出することはますます困難になっている。
静的なベンチマーク評価、固定されたホールトアウトデータセットでの検出器性能の測定は、ポストが意図的に回避分類に変換されたときに検出器がどのように振る舞うかを捉えない。
この論文は、構築、分解、フレームワークをビルド、分解、繰り返し(BiBiR): 反復的逆境条件下で検出器の堅牢性をストレステストするために設計された反復的なセッションで、偽情報のポストが体系的に分類に変換されたときにモデルが信頼できるかどうかを評価する。
5回の反復で、最も優れた逆転ブレーカーの変換は、バックトランスレーションとLLMペルソナをベースとした書き換えと、95%のラベルフリップレート(LFR)を達成し、元の投稿の意味を保ちながら、最高のパフォーマンス技術の組み合わせによるものであることが判明した。
ベスト・ビルダーのモデルは、ダイナミック・アンカー・スイッチング(DASS)アーキテクチャを備えたトリプルト・コントラクティブ・モデルであり、平均精度は72.68%に達し、ブレーカーの最も頑丈な攻撃に対して15ポイントの精度で強力なベースライン(細調整されたe5-small-LoRA)を上回った。
その結果、反復的フレームワークは検出器の弱点を最善に露呈し、堅牢性の向上を推し進めるが、元の偽情報の主張を変える変換から有効な敵の回避を区別するために意味保存分析を必要とする可能性がある。
関連論文リスト
- ContextShift: A Controlled Benchmark for Context Dependence in Object Detection [1.8320252176005443]
我々は、オブジェクトの外観を保ちながら、オブジェクト-コンテキスト関係を操作するベンチマークであるContextShiftを紹介する。
偽陰性は227%まで増加し,予測量は44%まで減少する。
拡張されたすべての変種は、オリジナルの画像と操作されたテストイメージの両方でデータセットのみのベースラインよりも優れています。
論文 参考訳（メタデータ） (2026-06-08T13:48:16Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。
VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。
VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
論文 参考訳（メタデータ） (2026-03-18T01:25:08Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳（メタデータ） (2025-04-29T17:36:05Z) - Alert-ME: An Explainability-Driven Defense Against Adversarial Examples in Transformer-Based Text Classification [9.818997495801705]
本稿では、予測時間防御を強化するために、説明可能性駆動型検出・識別・変換(EDIT)と呼ばれる統一的なフレームワークを提案する。
EDITは、アテンションマップや統合勾配などの説明可能性ツールと周波数ベースの機能を統合し、敵の摂動を自動的に検出し識別する。
このフレームワークは、テキスト分類モデルにおける標準、ゼロデイおよび適応的な敵の脅威に対して、堅牢で、解釈可能で、効率的な保護を提供する。
論文 参考訳（メタデータ） (2023-07-03T03:17:20Z) - Utilizing Class Separation Distance for the Evaluation of Corruption
Robustness of Machine Learning Classifiers [0.6882042556551611]
本稿では,最小クラス分離距離のデータセットから得られるロバストネス距離$epsilon$を使用するテストデータ拡張手法を提案する。
結果として得られるMSCRメトリックは、その破損の堅牢性に関して異なる分類器のデータセット固有の比較を可能にする。
以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
論文 参考訳（メタデータ） (2022-06-27T15:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。