論文の概要: Localizing Concepts in Visual Autoregressive Models
- arxiv url: http://arxiv.org/abs/2610.40061v1
- Date: Thu, 29 Oct 2026 13:49:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.092002
- Title: Localizing Concepts in Visual Autoregressive Models
- Title(参考訳): 視覚的自己回帰モデルにおける概念のローカライズ
- Abstract要約: 自動回帰モデルの中に特定の概念が現れる場所とタイミングをローカライズする最初のモデルに依存しないフレームワークであるLoCoを紹介します。
LoCoは概念知識を3つの異なる次元(レイヤ、スケール、位置)にマップする。
これらの知見に基づいて, 概念消去, モデルパーソナライゼーション, 対角的概念注入の3つの主要な応用に適用した。
- 参考スコア(独自算出の注目度): 10.733188313851462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the internal routing of visual concepts is crucial for the safe and controllable adaptation of generative models. While concept localization has been widely studied in diffusion models, the emerging paradigm of next-scale visual autoregressive models remains largely unexplored. In this paper, we introduce LoCo, the first model-agnostic framework to localize where and when specific concepts emerge within autoregressive models. Driven by the native coarse-to-fine nature of next-scale generation, our method precisely maps conceptual knowledge across three distinct dimensions: Layer, Scale, and Position. To systematically localize and evaluate concept routing without context bias, we propose LoCoBench, a comprehensive dataset spanning 10 diverse categories. Extensive probing on image and video autoregressive models like Infinity, HunyuanImage-3.0, and InfinityStar shows that the localized positions are both interpretable and causally related to concept emergence. Building on these insights, we apply our localization method to three key applications: concept erasure, model personalization, and adversarial concept injection. Experiments demonstrate that our targeted intervention achieves state-of-the-art performance, substantially reducing computational overhead while preserving benign utility. Overall, our findings offer insights into how conceptual knowledge is routed during autoregressive generation, introducing a practical pathway for more interpretable, efficient, and secure adaptation.
- Abstract(参考訳): 視覚概念の内部ルーティングを理解することは、生成モデルの安全かつ制御可能な適応に不可欠である。
概念のローカライゼーションは拡散モデルで広く研究されているが、次世代の視覚自己回帰モデルの新たなパラダイムはいまだほとんど解明されていない。
本稿では,自己回帰モデル内に特定の概念が現れる場所と時刻をローカライズする最初のモデル非依存フレームワークであるLoCoを紹介する。
本手法は, 階層, スケール, 位置の3つの異なる次元に, 概念的知識を正確にマッピングする。
コンテキストバイアスのない概念ルーティングを体系的にローカライズし,評価するために,10種類のカテゴリにまたがる包括的データセットであるLoCoBenchを提案する。
Infinity、Hunyuan Image-3.0、InfinityStarといった画像およびビデオの自動回帰モデルに関する広範な調査では、局所的な位置が、概念の出現と因果関係があることが示されている。
これらの知見に基づいて, 概念消去, モデルパーソナライゼーション, 対角的概念注入の3つの主要な応用に適用した。
目的とする介入が最先端の性能を達成し、良質なユーティリティを維持しながら計算オーバーヘッドを大幅に低減することを示す実験を行った。
本研究は, 自己回帰生成における概念的知識の経路に関する知見を提供し, より解釈可能で, 効率的かつセキュアな適応のための実践的経路を導入する。
関連論文リスト
- Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective [91.23306722968509]
汎用的なフィードフォワード3D再構築は近年急速に進展している。
既存のフィードフォワードアプローチも同様に高いレベルのアーキテクチャパターンを共有している。
本稿では,出力形式に依存しないモデル設計戦略を中心とした新しい分類法を提案する。
論文 参考訳(メタデータ) (2026-04-15T16:07:18Z) - FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。
本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。
私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
論文 参考訳(メタデータ) (2025-10-29T13:35:46Z) - Towards Better Generalization and Interpretability in Unsupervised Concept-Based Models [9.340843984411137]
本稿では、LCBM(Learningable Concept-Based Model)という、画像分類のための教師なし概念ベースモデルを提案する。
我々はLCBMが既存の教師なし概念ベースモデルを上回る一般化能力を示し、ブラックボックスモデルの性能とほぼ一致することを示した。
概念埋め込みの利用にもかかわらず、我々は概念の局所的な線形結合によるモデル解釈可能性を維持している。
論文 参考訳(メタデータ) (2025-06-02T16:26:41Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳(メタデータ) (2024-11-21T09:46:55Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳(メタデータ) (2024-05-02T17:59:01Z) - Implicit Concept Removal of Diffusion Models [92.55152501707995]
テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。
我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。
この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
論文 参考訳(メタデータ) (2023-10-03T14:57:31Z) - CRAFT: Concept Recursive Activation FacTorization for Explainability [5.306341151551106]
CRAFTは概念に基づく説明を生成することによって、"What"と"where"の両方を識別する新しいアプローチである。
提案手法の利点を実証するために,人間とコンピュータの視覚実験を行った。
論文 参考訳(メタデータ) (2022-11-17T14:22:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。