論文の概要: Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization

• arxiv url: http://arxiv.org/abs/2602.15028v1
• Date: Mon, 16 Feb 2026 18:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.649337
• Title: Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization
• Title（参考訳）: Long Context, less Focus: プライバシとパーソナライゼーションによるLLMのスケールアップギャップ
• Authors: Shangding Gu,
• Abstract要約: 大きな言語モデル(LLM)は、プライバシクリティカルでパーソナライズ指向のシナリオにますますデプロイされている。 大規模ベンチマークPAPerBenchを導入し、コンテキスト長の増加がパーソナライズ品質とプライバシ保護の両方にどのように影響するかを体系的に研究する。 ベンチマークは、コンテキスト長が1Kから256Kまでの約29,000のインスタンスで構成され、合計で377K評価の質問が得られる。
• 参考スコア（独自算出の注目度）: 4.802305157491253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed in privacy-critical and personalization-oriented scenarios, yet the role of context length in shaping privacy leakage and personalization effectiveness remains largely unexplored. We introduce a large-scale benchmark, PAPerBench, to systematically study how increasing context length influences both personalization quality and privacy protection in LLMs. The benchmark comprises approximately 29,000 instances with context lengths ranging from 1K to 256K tokens, yielding a total of 377K evaluation questions. It jointly evaluates personalization performance and privacy risks across diverse scenarios, enabling controlled analysis of long-context model behavior. Extensive evaluations across state-of-the-art LLMs reveal consistent performance degradation in both personalization and privacy as context length increases. We further provide a theoretical analysis of attention dilution under context scaling, explaining this behavior as an inherent limitation of soft attention in fixed-capacity Transformers. The empirical and theoretical findings together suggest a general scaling gap in current models -- long context, less focus. We release the benchmark to support reproducible evaluation and future research on scalable privacy and personalization. Code and data are available at https://github.com/SafeRL-Lab/PAPerBench
• Abstract（参考訳）: 大きな言語モデル(LLM)は、プライバシクリティカルでパーソナライズ指向のシナリオにますますデプロイされていますが、プライバシの漏洩とパーソナライズの有効性を形成する上でのコンテキスト長の役割はほとんど解明されていません。 大規模ベンチマークPAPerBenchを導入し、LLMのパーソナライズ品質とプライバシ保護の両方に、コンテキスト長の増加がどう影響するかを体系的に調査する。 ベンチマークは、コンテキスト長が1Kから256Kまでの約29,000のインスタンスで構成され、合計で377K評価の質問が得られる。 様々なシナリオにおけるパーソナライズ性能とプライバシリスクを共同評価し、長期コンテキストモデル行動の制御分析を可能にする。 最先端のLLMに対する広範囲な評価は、コンテキストの長さが増加するにつれて、パーソナライズとプライバシの両方で、一貫したパフォーマンス低下を示す。 さらに, コンテクストスケーリングにおける注意の希釈に関する理論的解析を行い, 固定容量変圧器におけるソフトアテンションの固有の制限として説明する。 経験的および理論的発見は、現在のモデルにおける一般的なスケーリングギャップ - 長いコンテキスト、より少ないフォーカス - を示唆している。 再現可能な評価と,スケーラブルなプライバシとパーソナライゼーションに関する今後の研究を支援するためのベンチマークをリリースする。 コードとデータはhttps://github.com/SafeRL-Lab/PAPerBenchで公開されている。

関連論文リスト

• Private PoEtry: Private In-Context Learning via Product of Experts [58.496468062236225]
  In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
  論文  参考訳（メタデータ） (2026-02-04T19:56:24Z)
• MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models [14.942122955210436]
  現代のビジョンランゲージモデル(VLM)は、洗練された推論を示し、プライバシーリスクをエスカレートする。 現在のプライバシーベンチマークは、この新たな脅威に対して構造的に不十分である。 個人レベルのプライバシ推論を体系的に評価するための最初のベンチマークである textbfMultiPriv を提案する。
  論文  参考訳（メタデータ） (2025-11-21T04:33:11Z)
• Urania: Differentially Private Insights into AI Use [102.27238986985698]
  $Urania$は、クラスタリング、パーティション選択、ヒストグラムベースの要約といったDPツールを活用することによって、エンドツーエンドのプライバシ保護を提供する。 結果は、厳密なユーザのプライバシを維持しながら、意味のある会話の洞察を抽出するフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2025-06-05T07:00:31Z)
• The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD [46.71175773861434]
  ノイズカットされた勾配勾配(DP-SGD)の簡易なプライバシー解析法を提案する。 各種トレーニング手順に適用したプライバシー監査の結果を予測できることを実験的に示す。 既存のプライバシー監査攻撃は、視覚と言語の両方のタスクにおける分析によって制限されていることを実証的に示しています。
  論文  参考訳（メタデータ） (2024-10-08T16:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。