論文の概要: DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2510.15015v1
- Date: Thu, 16 Oct 2025 17:39:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.323876
- Title: DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models
- Title(参考訳): DeLeaker: テキスト-画像モデルにおけるセマンティックリーク除去のための動的推論時間重み付け
- Authors: Mor Ventura, Michael Toker, Or Patashnik, Yonatan Belinkov, Roi Reichart,
- Abstract要約: テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
- 参考スコア(独自算出の注目度): 55.30555646945055
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Text-to-Image (T2I) models have advanced rapidly, yet they remain vulnerable to semantic leakage, the unintended transfer of semantically related features between distinct entities. Existing mitigation strategies are often optimization-based or dependent on external inputs. We introduce DeLeaker, a lightweight, optimization-free inference-time approach that mitigates leakage by directly intervening on the model's attention maps. Throughout the diffusion process, DeLeaker dynamically reweights attention maps to suppress excessive cross-entity interactions while strengthening the identity of each entity. To support systematic evaluation, we introduce SLIM (Semantic Leakage in IMages), the first dataset dedicated to semantic leakage, comprising 1,130 human-verified samples spanning diverse scenarios, together with a novel automatic evaluation framework. Experiments demonstrate that DeLeaker consistently outperforms all baselines, even when they are provided with external information, achieving effective leakage mitigation without compromising fidelity or quality. These results underscore the value of attention control and pave the way for more semantically precise T2I models.
- Abstract(参考訳): テキスト・ツー・イメージ(T2I)モデルは急速に進歩しているが、セマンティック・リークに弱いままである。
既存の緩和戦略は、しばしば最適化に基づいており、外部入力に依存している。
DeLeakerは、軽量で最適化不要な推論時間アプローチで、モデルのアテンションマップに直接介入することでリークを軽減します。
拡散過程を通じて、DeLeakerは注目マップを動的に重み付けし、各エンティティのアイデンティティを強化しながら過剰な相互関係の相互作用を抑制する。
体系的評価を支援するために,多種多様なシナリオにまたがる1,130人の検証されたサンプルと,新しい自動評価フレームワークからなる意味漏洩のための最初のデータセットであるSLIM(Semantic Leakage in IMages)を紹介した。
実験によると、DeLeakerは外部情報を提供していても、すべてのベースラインを一貫して上回り、忠実さや品質を損なうことなく、効果的な漏洩軽減を実現している。
これらの結果は、注意制御の価値を強調し、より意味論的に正確なT2Iモデルへの道を開く。
関連論文リスト
- Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。
本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-27T10:37:11Z) - Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。
モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文 参考訳(メタデータ) (2025-09-26T14:39:13Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳(メタデータ) (2025-05-26T14:42:35Z) - Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection [25.176984317213858]
大型言語モデル(LLM)は幻覚に悩まされ、センシティブなアプリケーションにおける信頼性を損なう。
本稿では,検証モデルを一部のケースに対してのみ呼び出す,予算に優しい2段階検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-02-20T21:06:08Z) - Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。
本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-03T18:43:36Z) - Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
本稿では,半教師付き感情分析のためのフレームワークを提案する。
テキストを意味的に拡張する2つのプロンプト戦略を導入する。
実験により,従来の半教師付き手法よりも優れた性能が得られた。
論文 参考訳(メタデータ) (2025-01-29T12:03:11Z) - Bridging Optimal Transport and Jacobian Regularization by Optimal
Trajectory for Enhanced Adversarial Defense [27.923344040692744]
逆行訓練とヤコビ正則化の複雑さを2つの重要な防御法として分析した。
本稿では, OTJR と呼ばれるヤコビ正規化手法を用いた新しい最適輸送法を提案する。
CIFAR-10では52.57%、CIFAR-100データセットでは28.3%と評価された。
論文 参考訳(メタデータ) (2023-03-21T12:22:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。