論文の概要: The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation
- arxiv url: http://arxiv.org/abs/2605.21856v1
- Date: Thu, 21 May 2026 01:06:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.043698
- Title: The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation
- Title（参考訳）: 推論のイラシオン:ゼロCoTトラニケーションによるLLMの広帯域データ汚染
- Authors: Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen,
- Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにまたがる印象的な推論能力を示している。
データ汚染はこれらの能力の客観的評価を損なう。
現在のアプローチは、このようなステルス性の汚染を確実に検出するのに苦労している。
そこで我々はZero-CoT Probe (ZCP) を提案する。
- 参考スコア（独自算出の注目度）: 28.17279842216215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated impressive reasoning abilities across a wide range of tasks, but data contamination undermines the objective evaluation of these capabilities. This problem is further exacerbated by malicious model publishers who use evasive, or indirect, contamination strategies, such as paraphrasing benchmark data to evade existing detection methods and artificially boost leaderboard performance. Current approaches struggle to reliably detect such stealthy contamination. In this work, we uncover a critical phenomenon: a model's generated reasoning steps actively mask its underlying memorization. Inspired by this, we propose the Zero-CoT Probe (ZCP), a novel black-box detection method that deliberately truncates the entire Chain-of-Thought (CoT) process to expose latent shortcut mappings. To further isolate memorization from the model's intrinsic problem-solving capabilities, ZCP compares the model's zero-CoT performance on the original benchmark against an isomorphically perturbed reference dataset. Furthermore, we introduce Contamination Confidence, a metric that quantifies both the likelihood and severity of contamination, moving beyond simple binary classifications. Extensive experiments on both previously identified contaminated models and specially fine-tuned contaminated models demonstrate that ZCP robustly detects both direct and evasive data contamination. The code for ZCP is accessible at https://github.com/Yifan-Lan/zero-cot-probe.
- Abstract（参考訳）: 大規模言語モデル (LLM) は様々なタスクにおいて顕著な推論能力を示しているが、データ汚染はこれらの能力の客観的評価を損なう。
この問題は、ベンチマークデータをパラフレーズ化して既存の検出方法を避け、リーダボードのパフォーマンスを人工的に向上させるような、回避的または間接的な汚染戦略を使用する悪意のあるモデル出版社によってさらに悪化する。
現在のアプローチは、このようなステルス性の汚染を確実に検出するのに苦労している。
モデルが生成する推論ステップは、その基礎となる記憶を積極的に隠蔽する。
そこで本研究では,Zero-CoT Probe(ZCP)を提案する。ZCPは,チェーン・オブ・ソート(CoT)プロセス全体を意図的に切断し,遅延ショートカットマッピングを露呈するブラックボックス検出手法である。
モデル固有の問題解決能力からメモリ化をさらに分離するために、ZCPはモデルのゼロCoT性能を、同型に摂動した参照データセットと比較する。
さらに,汚染の可能性を定量化するための指標である汚染信頼(Contamination Confidence)を導入する。
以前に同定された汚染モデルと特別に調整された汚染モデルの両方に対する大規模な実験は、ZCPが直接的および回避的なデータ汚染の両方を確実に検出することを示した。
ZCPのコードはhttps://github.com/Yifan-Lan/zero-cot-probeでアクセスできる。
関連論文リスト
- Breaking the Adversarial Robustness-Performance Trade-off in Text Classification via Manifold Purification [7.908790490702219]
テキスト分類(TC)における永続的な課題は、敵攻撃に対するモデル堅牢性の向上は、典型的にはクリーンデータのパフォーマンスを低下させることである。
この問題は、エンコーダ埋め込み多様体におけるクリーンサンプルの分布をモデル化することで解決できると論じる。
文の埋め込みを直接操作する2モジュールシステムであるManifold-Correcting Causal Flow (MC2F)を提案する。
論文 参考訳（メタデータ） (2025-11-11T06:39:01Z) - Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。
プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。
既存の検出手法が不整合性を示すか,不整合性を示すかを示す。
マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
論文 参考訳（メタデータ） (2025-11-05T18:59:52Z) - BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。
本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
論文 参考訳（メタデータ） (2025-07-14T17:13:06Z) - Detecting Stealthy Backdoor Samples based on Intra-class Distance for Large Language Models [12.519879298717104]
本稿では,参照フィルタとTfidf-Clustering機構に基づく,ステルスなバックドアサンプル検出手法を提案する。
2つの機械翻訳データセットと1つのQAデータセットの実験では、RFTCがバックドア検出とモデルパフォーマンスでベースラインを上回っていることが示されている。
論文 参考訳（メタデータ） (2025-05-29T02:49:29Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-05-22T17:11:58Z) - Hide in Plain Sight: Clean-Label Backdoor for Auditing Membership Inference [16.893873979953593]
本研究では,ステルスデータ監査のための新しいクリーンラベルバックドア方式を提案する。
我々のアプローチでは、ターゲットモデルの振る舞いを模倣するシャドウモデルによって生成される最適なトリガを用いる。
提案手法は,ブラックボックスアクセスによるロバストなデータ監査を可能にし,多様なデータセット間で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2024-11-24T20:56:18Z) - Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。
混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。
UE識別のための反復フィルタリング手法を提案する。
論文 参考訳（メタデータ） (2024-08-15T13:26:13Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z) - Evading Data Contamination Detection for Language Models is (too) Easy [9.024665800235855]
大規模な言語モデルは、必然的に公開ベンチマークによる汚染につながる可能性がある。
本稿では,モデルプロバイダと汚染検出手法の両方の分類を提案する。
これは、私たちがEALで活用している既存のメソッドの脆弱性を明らかにします。
論文 参考訳（メタデータ） (2024-02-05T09:10:32Z) - Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。
暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。
我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
論文 参考訳（メタデータ） (2023-06-06T14:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。