論文の概要: Calibrating Post-Training Feature Shifts for LLM Data Contamination Detection

• arxiv url: http://arxiv.org/abs/2608.10462v1
• Date: Tue, 11 Aug 2026 04:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.897112
• Title: Calibrating Post-Training Feature Shifts for LLM Data Contamination Detection
• Title（参考訳）: LLMデータ汚染検出のための訓練後特徴シフトの校正
• Abstract要約: 大規模言語モデル(LLM)は、著作権やプライバシーに敏感なコンテンツを含む可能性のある、大規模で開示されていないコーパスで訓練されている。 データ汚染検出(DCD)は、あるテキストが対象LLMの事前学習コーパスのメンバーであるかどうかを判定することを目的としている。 近年の最先端DCD手法は,入力テキストと対応するモデル出力からメンバシップ特徴を導出する特徴に基づくパラダイムを踏襲している。 現代のLLMは、命令チューニング、好みの最適化、推論指向のトレーニングなど、モデル出力を変更し、対応するメンバシップ機能を変更することができる。
• 参考スコア（独自算出の注目度）: 23.772520085134932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are trained on massive and largely undisclosed corpora that may contain copyrighted or privacy-sensitive content. Data contamination detection (DCD) therefore aims to determine whether a given text is a member of the pre-training corpus of a target LLM. Recent state-of-the-art DCD methods follow a feature-based paradigm that derives membership features from the input text and the corresponding model output. However, most modern LLMs undergo post-training, such as instruction tuning, preference optimization, and reasoning-oriented training, which can alter model outputs and shift the corresponding membership features, thereby reducing the separability between members and non-members. To address this problem, we propose CalibDCD, a broadly applicable calibration framework for feature-based DCD methods, comprising (1) Multi-View Shift Detection, which identifies recurring feature shifts associated with post-training, and (2) Bounded Feature Correction, which selectively mitigates their influence on membership prediction. Specifically, Multi-View Shift Detection evaluates controlled prompt variants on known non-member texts and consolidates the most informative views to identify recurring feature shifts. Bounded Feature Correction selectively adjusts feature components aligned with the detected shifts and controls the correction extent to preserve useful detection information. Experiments show that CalibDCD consistently improves existing feature-based detectors, with gains of up to 7.0% in AUC and 15.0% in TPR@5%FPR.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、著作権やプライバシーに敏感なコンテンツを含む可能性のある、大規模で開示されていないコーパスで訓練されている。 したがって、データ汚染検出(DCD)は、あるテキストが対象LLMの事前学習コーパスのメンバーであるかどうかを判定することを目的としている。 近年の最先端DCD手法は,入力テキストと対応するモデル出力からメンバシップ特徴を導出する特徴に基づくパラダイムを踏襲している。 しかし、ほとんどの現代のLLMは、命令チューニング、選好最適化、推論指向の訓練といったポストトレーニングを受けており、モデル出力を変更し、対応するメンバーシップの特徴をシフトさせ、メンバーと非メンバーの分離性を低下させることができる。 この問題に対処するため,機能ベースのDCD手法に広く適用可能なキャリブレーションフレームワークであるCalibDCDを提案し,(1)ポストトレーニングに伴う繰り返し特徴変化を識別するマルチビューシフト検出,(2)メンバーシップ予測に対する影響を選択的に緩和する境界特徴補正を提案する。 具体的には、Multi-View Shift Detectionは、既知の非メンバーテキスト上の制御されたプロンプト変種を評価し、最も情報に富んだビューを統合して、繰り返し発生する特徴シフトを特定する。 境界特徴補正は、検出されたシフトに対応する特徴成分を選択的に調整し、補正範囲を制御して有用な検出情報を保持する。 実験の結果、CalibDCDは既存の特徴ベースの検出器を一貫して改善し、AUCでは7.0%、TPR@5%FPRでは15.0%まで上昇した。

関連論文リスト

• PISA: A Pseudo-Individual Source-Domain Feature Adaptation Framework for Test-Time Open-Vocabulary Object Detection [3.403013334650533]
  PISAはオープンソースのOVOD-TTAメソッドであり、オープン語彙の視覚バックボーンにシームレスに統合される。 PISAは,元のモデルの局所化精度とカテゴリ認識精度の両方を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-08-14T09:47:44Z)
• Stage-Aware Adaptation and Distribution Calibration for Subject-Driven Personalized Text-to-Image Generation [1.2891210250935148]
  主観駆動型パーソナライズされたテキスト・ツー・イメージ生成のためのフレームワークを提案する。 均一な低ランク制約や均一なアダプタ強度は、異なる遅延ステージのキャパシティ要求を明確に区別することはできない。 タイムステップに依存したスケーリングは低ランクアダプタの有効等級を制御し,IDバイアスのある候補選択は選択した特徴の半径を制限することを示した。
  論文  参考訳（メタデータ） (2026-07-08T09:07:31Z)
• Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy [51.887915969023965]
  現代のLarge Language Models (LLMs) がアライメントされ、測定可能な分布インプリントが残されていることを示す。 高エントロピー領域における不安定性を軽減するため、ログライクなアライメント・アライメント・プレフレパシー(LAPD)を導入する。 LAPDはアライメントインプリントに基づく標準化された情報重み統計である。
  論文  参考訳（メタデータ） (2026-04-18T09:12:24Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
  本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。 PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。 3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T08:56:52Z)
• A Closed-Loop Personalized Learning Agent Integrating Neural Cognitive Diagnosis, Bounded-Ability Adaptive Testing, and LLM-Driven Feedback [5.190121417265426]
  本稿では,ニューラル認知診断モデル(NCD),境界能力コンピュータ適応テスト戦略(BECAT),大規模言語モデル(LLM)を統合するエンド・ツー・エンドの個別学習エージェントを提案する。 ASSISTmentsデータセットの実験では、NCDモジュールは解釈可能なマスタリーアセスメントを出力しながら応答予測において高い性能を達成する。 全体としては,提案した設計は効果的かつ実用的に展開可能であることを示唆している。
  論文  参考訳（メタデータ） (2025-10-26T07:32:31Z)
• Source-Free Object Detection with Detection Transformer [59.33653163035064]
  Source-Free Object Detection (SFOD) は、ソースデータにアクセスすることなく、ソースドメインから教師なしのターゲットドメインへの知識転送を可能にする。 ほとんどの既存のSFODアプローチは、より高速なR-CNNのような従来のオブジェクト検出(OD)モデルに限られるか、新しいODアーキテクチャ、特に検出変換器(DETR)に適合しない一般的なソリューションとして設計されている。 本稿では,DTRのクエリ中心の機能強化を特化して設計された新しいSFODフレームワークであるFeature Reweighting ANd Contrastive Learning NetworK(FRANCK)を紹介する。
  論文  参考訳（メタデータ） (2025-10-13T07:35:04Z)
• Knowledge Regularized Negative Feature Tuning of Vision-Language Models for Out-of-Distribution Detection [54.433899174017185]
  信頼性の高い機械学習モデルを構築するには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 我々はKR-NFT(Knowledge Regularized Negative Feature Tuning)と呼ばれる新しい手法を提案する。 NFTは、事前訓練されたテキスト特徴に分布認識変換を適用し、正および負の特徴を異なる空間に効果的に分離する。 ImageNetデータセットから数発のサンプルをトレーニングすると、KR-NFTはID分類精度とOOD検出を改善するだけでなく、FPR95を5.44%削減する。
  論文  参考訳（メタデータ） (2025-07-26T07:44:04Z)
• Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
  オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。 このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。 我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:57:35Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• Detection of Dataset Shifts in Learning-Enabled Cyber-Physical Systems using Variational Autoencoder for Regression [1.5039745292757671]
  回帰問題に対してデータセットシフトを効果的に検出する手法を提案する。 提案手法は帰納的共形異常検出に基づいており,回帰モデルに変分オートエンコーダを用いる。 自動運転車用オープンソースシミュレータに実装された高度緊急ブレーキシステムを用いて,本手法を実証する。
  論文  参考訳（メタデータ） (2021-04-14T03:46:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。