論文の概要: Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2609.09909v1
- Date: Wed, 09 Sep 2026 09:07:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.961654
- Title: Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models
- Title（参考訳）: テキスト・画像拡散モデルにおけるオブジェクト依存概念の脆さの解釈
- Abstract要約: 我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。
複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
- 参考スコア（独自算出の注目度）: 105.53190946111586
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Although text-to-image diffusion models generally exhibit strong prompt-following ability, we identify a persistent and previously underexplored failure pattern in which a small subset of prompts differing only in the object consistently fails to realize the same target concept under identical generation settings. We term this phenomenon object-dependent concept brittleness. Such cases suggest systematic internal blind spots rather than random sampling noise. In this paper, we present an interpretability-oriented framework to audit and minimally correct these failures. Our key idea is to analyze denoising trajectories in a step-wise sparse autoencoder (SAE) space, where abstract style and attribute concepts become more separable than in the raw denoising representation. This sparse space enables us to compare successful and failed generations, identify concept dimensions whose evidence is missing, weakened, or temporally delayed, and construct class-level concept prototypes from reliable class-consistent samples. Based on this audit process, we introduce a lightweight inference-time correction strategy that interpolates denoising features toward the corresponding prototype in SAE space. Rather than serving as a task-specific retraining method, this intervention acts as a validation of the diagnosed concept deficiency. We evaluate the proposed framework on style and attribute failure cases across multiple diffusion backbones, with significant improvements in concept consistency, text fidelity, and repair success. Further analyses show that deeper denoising representations provide clearer concept structure, while early-stage intervention offers the strongest correction leverage. Code is available at https://github.com/Metecade/Object-Dependent-Concept-Brittleness.
- Abstract（参考訳）: テキストと画像の拡散モデルは一般的に強いプロンプト追従能力を示すが、オブジェクト内でのみ異なるプロンプトの小さなサブセットが、同じ生成設定下で同じターゲット概念を実現するのに一貫して失敗する永続的かつ未探索の失敗パターンを同定する。
我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
このようなケースは、ランダムサンプリングノイズよりも、系統的な内部盲点を示唆している。
本稿では,これらの障害を監査し,最小限の修正を行うための解釈可能性指向のフレームワークを提案する。
我々のキーとなる考え方は、ステップワイズスパースオートエンコーダ(SAE)空間において、抽象的なスタイルや属性の概念が、生のデノケーション表現よりも分離しやすくなることである。
このスパース空間は、成功した世代と失敗した世代を比較し、証拠の欠如、弱体化、時間的に遅れた概念次元を特定し、信頼性の高いクラス一貫性サンプルからクラスレベルの概念プロトタイプを構築する。
この監査プロセスに基づいて,SAE空間における対応するプロトタイプに向けて,特徴を補間する軽量な推測時間補正戦略を導入する。
この介入は、タスク固有のリトレーニング方法として機能するのではなく、診断された概念不足の検証として機能する。
複数の拡散バックボーンにまたがるスタイルと属性の障害事例について,提案フレームワークの評価を行い,概念整合性,テキストの忠実性,修復成功の大幅な向上を図った。
さらに分析したところ、より深い認知表現はより明確な概念構造を提供する一方、早期介入は最強の補正レバレッジを提供することが示された。
コードはhttps://github.com/Metecade/Object-Dependent-Concept-Brittlenessで入手できる。
関連論文リスト
- Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes [19.68865985432786]
本稿では,損失検証法によって誘導される分布の原理的解析について述べる。
一見異なる多くのアプローチが表面的にのみ異なることを示し、トラルニケーションに基づく検証と協調的な検証の2つのカテゴリに分類できる。
論文 参考訳（メタデータ） (2026-07-29T08:54:27Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳（メタデータ） (2026-06-30T20:57:51Z) - Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T09:57:46Z) - Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition [81.2779530670268]
VLM(Vision-Language Models)は、ゼロショット画像認識を著しく進歩させたモデルである。
本稿では、クラス固有の概念を取り入れることで、プロンプトを強化する。
我々の手法は一貫して最先端の手法より優れている。
論文 参考訳（メタデータ） (2026-03-09T03:11:11Z) - Diversity over Uniformity: Rethinking Representation in Generated Image Detection [22.020742109848317]
我々は、確実に生成された画像検出は、単一の決定経路に依存するのではなく、複数の判断視点を維持するべきであると論じている。
本稿では,タスク非関係なコンポーネントをフィルタし,表現空間における様々なフォージェリーキュー間の過剰なオーバーラップを抑えるアンチファイン・コラプス学習フレームワークを提案する。
この設計は、モデル内で多様な補完的な証拠を維持し、小さな敬意的な手がかりへの依存を減らし、目に見えない生成条件下で堅牢性を高める。
論文 参考訳（メタデータ） (2026-02-28T15:42:12Z) - Temporal Concept Dynamics in Diffusion Models via Prompt-Conditioned Interventions [70.87254264798341]
PCIは、拡散時間を通して概念力学を解析するためのトレーニング不要でモデルに依存しないフレームワークである。
拡散モデルにまたがる様々な時間的挙動を明らかにしており、同じ概念タイプであっても、軌道の特定の位相は特定の概念に好適である。
論文 参考訳（メタデータ） (2025-12-09T11:05:08Z) - Representation-Level Counterfactual Calibration for Debiased Zero-Shot Recognition [36.36218470387896]
私たちはこの問題を因果推論問題として再考し、次のような質問をした。
推測時にこれを答えるために、CLIPの表現空間内のオブジェクトと背景の期待値を推定し、反ファクトの埋め込みを合成する。
提案手法は,再訓練や即時設計を伴わず,文脈に敏感なベンチマークにおいて,最悪のグループと平均精度の両方を著しく改善する。
論文 参考訳（メタデータ） (2025-10-30T13:11:23Z) - Semantic Discrepancy-aware Detector for Image Forgery Identification [21.695863229449742]
偽造概念空間と意味概念空間のミスアライメントは、モデルの偽造検出性能を妨げる。
本稿では,再現学習を利用して2つの空間をきめ細かな視覚レベルで整列させるセマンティック離散性認識検出器(SDD)を提案する。
視覚的意味論的概念と偽トレースとの相互作用を強化するために,視覚的再構成パラダイムに基づく概念レベルの偽差学習モジュールを提案する。
論文 参考訳（メタデータ） (2025-08-17T12:11:09Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳（メタデータ） (2025-03-11T17:59:41Z) - ConsistencyDet: A Few-step Denoising Framework for Object Detection Using the Consistency Model [22.34776007498307]
本稿では,物体検出を認知拡散過程として記述するための新しいフレームワークを提案する。
textbfConsistencyDetと呼ばれるこのフレームワークは、Consistency Modelとして知られる革新的な概念を活用している。
論文 参考訳（メタデータ） (2024-04-11T14:08:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。