論文の概要: As If We've Met Before: LLMs Exhibit Certainty in Recognizing Seen Files

• arxiv url: http://arxiv.org/abs/2511.15192v1
• Date: Wed, 19 Nov 2025 07:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.681668
• Title: As If We've Met Before: LLMs Exhibit Certainty in Recognizing Seen Files
• Title（参考訳）: LLMs Exhibit Certainity Exhibit Certainity in Recepting Seen Files(動画)
• Authors: Haodong Li, Jingqi Zhang, Xiao Cheng, Peihua Mai, Haoyu Wang, Yang Pan,
• Abstract要約: COPYCHECKは、不確実性信号を利用して、著作権コンテンツがトレーニングセットで使用されているかどうかを検知する新しいフレームワークである。 我々の手法は、LCM過信を制限から資産に転換し、目に見えない(トレーニングデータ)と見えない(トレーニングデータ)のコンテンツを確実に区別する不確実なパターンをキャプチャする。 実験の結果、COPYCHECKはLLaMA 7bで平均90.1%、LLaMA2 7bで91.6%のバランスの取れた精度を達成した。
• 参考スコア（独自算出の注目度）: 8.851596561406593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable language ability of Large Language Models (LLMs) stems from extensive training on vast datasets, often including copyrighted material, which raises serious concerns about unauthorized use. While Membership Inference Attacks (MIAs) offer potential solutions for detecting such violations, existing approaches face critical limitations and challenges due to LLMs' inherent overconfidence, limited access to ground truth training data, and reliance on empirically determined thresholds. We present COPYCHECK, a novel framework that leverages uncertainty signals to detect whether copyrighted content was used in LLM training sets. Our method turns LLM overconfidence from a limitation into an asset by capturing uncertainty patterns that reliably distinguish between ``seen" (training data) and ``unseen" (non-training data) content. COPYCHECK further implements a two-fold strategy: (1) strategic segmentation of files into smaller snippets to reduce dependence on large-scale training data, and (2) uncertainty-guided unsupervised clustering to eliminate the need for empirically tuned thresholds. Experiment results show that COPYCHECK achieves an average balanced accuracy of 90.1% on LLaMA 7b and 91.6% on LLaMA2 7b in detecting seen files. Compared to the SOTA baseline, COPYCHECK achieves over 90% relative improvement, reaching up to 93.8\% balanced accuracy. It further exhibits strong generalizability across architectures, maintaining high performance on GPT-J 6B. This work presents the first application of uncertainty for copyright detection in LLMs, offering practical tools for training data transparency.
• Abstract（参考訳）: LLM(Large Language Models)の目覚ましい言語能力は、しばしば著作権のある資料を含む広大なデータセットの広範なトレーニングに由来する。 メンバーシップ推論攻撃(MIA)は、そのような違反を検出する潜在的な解決策を提供するが、既存のアプローチは、LLMの本質的な過信、地上の真実のトレーニングデータへのアクセスの制限、経験的に決定されたしきい値に依存するため、重大な制限と課題に直面している。 LLMトレーニングセットで著作権コンテンツが使用されているかどうかを検出するために不確実性信号を利用する新しいフレームワークCOPYCHECKを提案する。 我々の手法は, LLM過信を制限から資産に転換し, ``seen" (トレーニングデータ) と ``unseen" (トレーニングデータ) のコンテンツを確実に区別する不確実性パターンを捕捉する。 COPYCHECKはさらに、2つの戦略を実装している: 1) 大規模なトレーニングデータへの依存を減らすために、小さなスニペットにファイルを戦略的に分割し、(2) 経験的に調整されたしきい値の必要をなくすために、不確実性誘導無監視クラスタリング。 実験の結果、COPYCHECKはLLaMA 7bで平均90.1%、LLaMA2 7bで91.6%のバランスの取れた精度を達成した。 SOTAベースラインと比較して、COPYCHECKは90%以上の相対的な改善を達成し、93.8%の精度に達する。 さらに、GPT-J 6B上での高性能を維持しながら、アーキテクチャ間での強力な一般化性を示している。 本研究は,LLMにおける著作権検出における不確実性の最初の応用として,データの透明性をトレーニングするための実用的なツールを提供する。

関連論文リスト

• The Path of Self-Evolving Large Language Models: Achieving Data-Efficient Learning via Intrinsic Feedback [51.144727949988436]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証した。 本研究では,最小限のデータを用いたLLによるLLMの改善について検討する。 データ依存を最小限に抑えるため、自己認識に基礎を置いた2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2025-10-03T06:32:10Z)
• VulSolver: Vulnerability Detection via LLM-Driven Constraint Solving [23.259666449166456]
  従来の脆弱性検出方法は、事前定義されたルールマッチングに大きく依存する。 大規模言語モデル(LLM)を用いた制約解決手法を提案する。 VULSOLVERをベンチマークで評価し、精度97.85%、スコア97.97%、リコール100%を達成した。
  論文  参考訳（メタデータ） (2025-08-31T14:49:48Z)
• GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models [17.83305806604326]
  GUARDは、データ属性を通じて学習と保持をガイドするフレームワークである。 適応的で一様でないアンラーニングウェイトをサンプルに割り当て、逆にプロキシ属性スコアに比例する。 我々はGUARDが従来の手法に匹敵するメトリクスを忘れずに保持を大幅に改善する厳密な理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-06-12T17:49:09Z)
• MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
  メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。 MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-05-30T17:54:08Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。