論文の概要: Localizing and Mitigating Memorization in Image Autoregressive Models

• arxiv url: http://arxiv.org/abs/2509.00488v1
• Date: Sat, 30 Aug 2025 13:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.255588
• Title: Localizing and Mitigating Memorization in Image Autoregressive Models
• Title（参考訳）: 画像自己回帰モデルにおける局所化と緩和
• Authors: Aditya Kasliwal, Franziska Boenisch, Adam Dziedzic,
• Abstract要約: Image AutoRegressive (IAR)モデルは、生成した画像の速度と品質において最先端のパフォーマンスを達成した。 しかし、トレーニングデータの記憶と、そのプライバシーへの影響に関する懸念も持ち上がっている。 本研究は, 微細な暗記を計測することにより, 異なる自己回帰アーキテクチャ内でこのような暗記がどのように起こるのかを考察する。
• 参考スコア（独自算出の注目度）: 25.67535929806252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image AutoRegressive (IAR) models have achieved state-of-the-art performance in speed and quality of generated images. However, they also raise concerns about memorization of their training data and its implications for privacy. This work explores where and how such memorization occurs within different image autoregressive architectures by measuring a fine-grained memorization. The analysis reveals that memorization patterns differ across various architectures of IARs. In hierarchical per-resolution architectures, it tends to emerge early and deepen with resolutions, while in IARs with standard autoregressive per token prediction, it concentrates in later processing stages. These localization of memorization patterns are further connected to IARs' ability to memorize and leak training data. By intervening on their most memorizing components, we significantly reduce the capacity for data extraction from IARs with minimal impact on the quality of generated images. These findings offer new insights into the internal behavior of image generative models and point toward practical strategies for mitigating privacy risks.
• Abstract（参考訳）: Image AutoRegressive (IAR)モデルは、生成した画像の速度と品質において最先端のパフォーマンスを達成した。 しかし、トレーニングデータの記憶と、そのプライバシーへの影響に関する懸念も持ち上がっている。 本研究は, 微細な暗記を計測することにより, 異なる自己回帰アーキテクチャ内でこのような暗記がどのように起こるのかを考察する。 この分析により, IARの様々なアーキテクチャにおいて, 記憶パターンが異なることが明らかとなった。 階層的なパーレゾリューションアーキテクチャでは、早期に現れて解像度が深くなる傾向があり、IARではトークンごとの標準的な自己回帰型で、後続の処理段階に集中する。 これらの記憶パターンの局所化は、IARのトレーニングデータを記憶および漏洩する能力とさらに関連している。 最も記憶度の高いコンポーネントを介在することにより、生成した画像の品質に最小限の影響を伴って、IARからのデータ抽出能力を大幅に削減する。 これらの知見は、画像生成モデルの内部行動に関する新たな洞察を与え、プライバシリスクを軽減するための実践的戦略への視点を与える。

関連論文リスト

• Retrospective Memory for Camouflaged Object Detection [18.604039107883317]
  本稿では,カモフラージュパターンの認識と推論を動的に調節するリコール拡張CODアーキテクチャであるRetroMemを提案する。 本稿では,リコール段階で動的メモリ機構と推論パターン再構成を提案する。 私たちのRetroMemは、既存の最先端メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-06-18T08:22:19Z)
• Privacy Preserving Properties of Vision Classifiers [3.004632712148892]
  視覚分類器のプライバシ保護特性を多種多様なアーキテクチャで評価する。 本分析では,入力表現や特徴抽出機構,重み構造といったアーキテクチャの違いが,プライバシのリスクにどのように影響するかを強調した。 我々の発見は、セキュアでプライバシーに配慮した機械学習システムの設計に関する実用的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-02T11:50:00Z)
• LoyalDiffusion: A Diffusion Model Guarding Against Data Replication [6.818344768093927]
  拡散モデルは、特にトレーニングデータが機密情報を含む場合、トレーニングデータを複製することができる。 画像品質に欠かせない接続に情報転送ブロックを組み込んだ複製対応U-Netアーキテクチャを提案する。 実験により、LoyalDiffusionは、画像の品質を維持しながら48.63%の複製を減少させる、最先端の複製緩和法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-02T04:41:30Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Embedding Space Selection for Detecting Memorization and Fingerprinting in Generative Models [45.83830252441126]
  GAN(Generative Adversarial Networks)と拡散モデル(Diffusion Models)は画期的な技術となり、芸術創造から医療まで様々な分野のイノベーションを推進してきた。 それらの可能性にもかかわらず、これらのモデルはデータ記憶の重大な課題に直面し、プライバシと生成されたコンテンツの完全性にリスクをもたらす。 エンコーダ層埋め込みから算出した暗記スコアについて検討し, 埋め込み空間内の試料間距離を計測する。
  論文  参考訳（メタデータ） (2024-07-30T19:52:49Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
  本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。 画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。 画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:33:29Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning [3.9596068699962315]
  連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。 本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。 その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-28T21:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。