論文の概要: SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization

• arxiv url: http://arxiv.org/abs/2605.27924v1
• Date: Wed, 27 May 2026 03:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.734478
• Title: SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization
• Title（参考訳）: SIGMA:テキスト駆動画像マニピュレーションローカライゼーションのためのセマンティックディファレンス命令周辺マスクアノテータ
• Abstract要約: 公開編集データセットには、IMLトレーニングサンプルと構造的に同一(オリジナル、編集)のペアが数百万個含まれており、ピクセルレベルのマスクのみが欠如している。 本稿では,視覚基盤のバックボーンにおいて意味・特徴の相違を行うSIGMAを提案する。 1.1M IMLトレーニングセットを生成し、5つのデータセットに対して+18.34%のF1で6つの多様な検出器を改善する。
• 参考スコア（独自算出の注目度）: 64.6372217552272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-driven image editing has advanced rapidly, but reliably localizing these manipulations requires image manipulation localization (IML) models trained on large pixel-annotated datasets, and there is still no low-cost way to obtain such training data at scale. We observe that these data already exist in disguise: public editing datasets contain millions of structurally identical (original, edited) pairs to IML training samples, lacking only pixel-level masks. Recovering these masks automatically is non-trivial: pixel differencing is overwhelmed by diffusion-induced perturbations across all pixels, and instruction-only grounding localizes only what the prompt describes, missing unintended editor side-effects. We propose SIGMA (Semantic-difference Instruction-Grounding Mask Annotator), which performs semantic-feature differencing in a vision foundation backbone and injects an instruction-derived spatial prior into this visual stream via bidirectional cross-modal refinement, amplifying the difference signal at intended-edit regions when the editor faithfully realizes user intent. SIGMA is trained in two complementary stages: Stage I supervises on inpainting masks; Stage II closes the diffusion-domain shift via VAE-roundtrip noise calibration, EMA self-training, and an edit-noise disentanglement loss. SIGMA outperforms existing automatic mask generators on five benchmarks (+12.20% F1, +11.16% IoU). When applied to public editing corpora, it produces a ~1.1M IML training set that improves six diverse detectors by +18.34% F1 across five datasets, turning previously unused editing data into a model-agnostic supervisory resource for IML. We'll release the full codebase as soon as the paper is accepted.
• Abstract（参考訳）: テキスト駆動画像編集は急速に進歩しているが、これらの操作を確実にローカライズするには、大きなピクセルアノテーション付きデータセットでトレーニングされた画像操作ローカライゼーション(IML)モデルが必要である。 公開編集データセットには、数百万もの構造的に同一(元々は編集された)ペアとMLトレーニングサンプルが含まれており、ピクセルレベルのマスクのみが欠如している。 ピクセル差分は、すべてのピクセルにわたる拡散誘起摂動によって圧倒され、命令のみの接地は、プロンプトが記述したもののみをローカライズし、意図しないエディタの副作用を欠く。 SIGMA(Semantic-Difference Instruction-Grounding Mask Annotator)は、視覚基盤のバックボーン内で意味的特徴を相違し、双方向のクロスモーダルリファインメントにより、この視覚ストリームに指示対象空間を注入し、エディタがユーザの意図を忠実に認識した場合に、意図された編集領域での差信号の増幅を行う。 SIGMAは、塗装マスクを監督するステージI、VAEラウンドトリップノイズキャリブレーションによる拡散領域シフトを閉鎖するステージII、EMA自己学習、編集ノイズ障害の2つの補完段階で訓練されている。 SIGMAは5つのベンチマーク(+12.20% F1, +11.16% IoU)で既存の自動マスクジェネレータを上回っている。 パブリックな編集コーパスに適用すると、約1.1MのIMLトレーニングセットを生成し、5つのデータセットに+18.34%の多様性検出器を改良し、それまで使われていなかった編集データをIMLのモデルに依存しない監視リソースに変換する。 論文が受理されたらすぐに、完全なコードベースをリリースします。

関連論文リスト

• Diffuse2Seg: Diffusion Models Can Segment Anything Without Supervision [3.836588693383881]
  テキストから画像への拡散モデルは、リトレーニングや監督なしに、オープンワールドのエンティティセグメンテーションに活用することができる。 Diffuse2Segは、マルチグラニュラーなインスタンスマスクを生成し、最先端のラベルジェネレータよりも優れている。 これらの生成マスク上でのインスタンスセグメンテーションモデルのトレーニングは、"things"と"stuff+things"では、ディテクターフリーのオープンワールドセグメンテーションを7.4と7.7で、AR_1000では"stuff+things"では、ディテクターベースのUnSAMを2.1で上回る。
  論文  参考訳（メタデータ） (2026-09-06T09:07:02Z)
• GAP-SAM: A Global Artifact Prior for Generalizable AI-Generated Image Manipulation Localization [15.115841637929895]
  ソースイメージのCannyエッジと深度マップを用いてCOCO-ControlNetを構築し、セマンティクスと幾何学を整合させ、複数のローカライザ間でのOOD性能を向上させる。 また、細調整されたセグメンテーションモデルでは、真の操作境界ではなく、意味オブジェクトの輪郭に予測をスナップする。 GAP-SAMは画像とその凍結されたVAE再構成をグローバルアーティファクトトークンにエンコードし、ピクセル復号の前にゼロゲートFiLMを介してSAM3の特徴ピラミッドに注入する。
  論文  参考訳（メタデータ） (2026-08-21T09:49:58Z)
• FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation [27.47065769615997]
  セグメンテーションでは、暗黙的な命令をピクセルレベルのマスクに変換するために、MLLM(Multimodal large language model)が必要となる。 リモートセンシング画像では、小さなターゲット、細い構造、隣接するインスタンスが同じ視覚トークンの異なる部分を占有することができる。 マスクの微細粒内表現であるFIRMを紹介する。
  論文  参考訳（メタデータ） (2026-08-14T05:40:36Z)
• Edit Where You Mean: Region-Aware Adapter Injection for Mask-Free Local Image Editing [28.295031615161136]
  大規模な拡散変換器 (DiT) はグローバルな編集命令に従っているが、常に非関連領域に局所的な編集をリークする。 そこで我々はAdaptEditを紹介した。AdaptEditは、訓練された命令と地域対応のアダプタフレームワークである。 AdaptEditは最先端の結果を達成し、マスクフリーとオラクルマスクのベースラインを同時に上回る。
  論文  参考訳（メタデータ） (2026-04-26T15:28:02Z)
• From Masks to Pixels and Meaning: A New Taxonomy, Benchmark, and Metrics for VLM Image Tampering [66.2662973049988]
  粗い領域ラベルからのVLM画像の改ざんを行う。 我々は,編集プリミティブにまたがる分類学と,その意味クラスを,低レベルな変化と高レベルな理解を結びつけて導入する。 第3に,画素レベルの正しさと局所化を定量化して,真の編集強度に対する信頼度や予測を評価するためのトレーニングフレームワークと評価指標を提案する。
  論文  参考訳（メタデータ） (2026-03-20T17:59:54Z)
• MaskAttn-SDXL: Controllable Region-Level Text-To-Image Generation [10.894281690166418]
  安定拡散XL(SDXL)のUNetのクロスアテンションロジットに適用した領域レベルのゲーティング機構であるMaskAttn-SDXLを提案する。 MaskAttn-SDXLは、層ごとのバイナリマスクを学習し、トークン間相互作用をスパシフィケートするために、ソフトマックスの前に各アテンションロジットマップにそれを注入する。 画像の質と多様性を保ちながら,マルチオブジェクトプロンプトにおける空間コンプライアンスと属性バインディングを改善した。
  論文  参考訳（メタデータ） (2025-09-18T18:57:47Z)
• LlamaSeg: Image Segmentation via Autoregressive Mask Generation [46.17509085054758]
  LlamaSegは視覚的自己回帰フレームワークで、自然言語による複数の画像分割タスクを統一する。 マスクを「視覚的」トークンとして表現し、LLaMA方式のトランスフォーマーを用いて画像入力から直接予測することで、画像分割を視覚生成問題として再構成する。
  論文  参考訳（メタデータ） (2025-05-26T02:22:41Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation [16.863038973001483]
  本研究は拡散合成セマンティックセマンティックセグメンテーショントレーニングの3つの手法を紹介する。 第一に、信頼性に配慮した堅牢なトレーニングは、もともと弱い教師付き学習で用いられ、合成マスクの品質が不十分なセグメンテーションに役立つ。 第2に、画像Net-1kクラスの画像にバックボーンだけでなく、全体セグメンテーションモデルの大規模事前トレーニングを行うことで、下流のセグメンテーションタスクにメリットがある。 第3に,テキストリソースの制限により,トレーニング画像のスケールアップと多様化を図るために,プロンプトテキストセットにプロンプト拡張,データ拡張を導入する。
  論文  参考訳（メタデータ） (2023-09-04T05:34:19Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• DiffuMask: Synthesizing Images with Pixel-level Annotations for Semantic Segmentation Using Diffusion Models [68.21154597227165]
  本研究では,オフザシェルフ安定拡散モデルにより生成された合成画像の正確なセマンティックマスクを自動で取得できることを示す。 我々のアプローチはDiffuMaskと呼ばれ、テキストと画像間の相互注意マップの可能性を利用しています。
  論文  参考訳（メタデータ） (2023-03-21T08:43:15Z)
• StrucTexTv2: Masked Visual-Textual Prediction for Document Image Pre-training [64.37272287179661]
  StrucTexTv2は、効果的なドキュメントイメージ事前トレーニングフレームワークである。 マスク付き画像モデリングとマスク付き言語モデリングの2つの自己教師付き事前訓練タスクで構成されている。 画像分類、レイアウト解析、テーブル構造認識、ドキュメントOCR、情報抽出など、さまざまな下流タスクにおいて、競合的あるいは新しい最先端パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-01T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。