論文の概要: Can We Model the Artifacts Explicitly? Disentangle Artifacts via Pairwise Edit Relations for Image Manipulation Localization
- arxiv url: http://arxiv.org/abs/2610.07916v1
- Date: Tue, 06 Oct 2026 07:58:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.878621
- Title: Can We Model the Artifacts Explicitly? Disentangle Artifacts via Pairwise Edit Relations for Image Manipulation Localization
- Title(参考訳): アーチファクトを的確にモデル化することは可能か?画像操作の局所化のためのペアワイズ編集関係による異方的アーティファクト
- Abstract要約: IML を潜在変数問題、$P(y|x)=int P(y|z),P(z|x),dz$ と解釈する。
そこで我々は,2段階の学習パラダイムを提案し,編集関係を通じて$P(z|x)$と$P(y|z)$を推定する。
- 参考スコア(独自算出の注目度): 32.902260203300365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image Manipulation Localization (IML) is commonly formulated as a fully supervised learning task that estimates the optimal manipulation mask $y$ for a given image $x$. In this work, we first reveal the latent nature of artifacts and thus reinterpret IML as a latent-variable problem, $P(y|x)=\int P(y|z)\,P(z|x)\,dz$, where $z$ denotes the artifacts. Following this interpretation, we pinpoint the cause for the current IML models' insufficiency as their implicit artifacts modeling strategy, highlighting the necessity of modeling $z$ in an explicit manner. Without direct labels, feature disentanglement is the most appropriate solution for this explicit modeling. Accordingly, we propose a two-stage learning paradigm with the Pairwise Artifacts Learning (PAL) and Standard Localization (SL) phases to estimate $P(z|x)$ and $P(y|z)$ via edit relations. To support our edit-relation-based learning, we further curate EditGroup-45K, a source-anchored dataset organized into edit groups for pair construction. Extensive experiments show that our PAL paradigm yields consistent improvements across diverse IML architectures, and empirical analyses further verify that PAL does capture artifacts explicitly through feature disentanglement. Code and dataset are available at https://github.com/venus-guangjian/PAL
- Abstract(参考訳): 画像操作局所化(IML)は一般に、与えられた画像に対して最適な操作マスク$y$を推定する完全に教師付き学習タスクとして定式化されている。
この研究において、我々はアーティファクトの潜伏性質を最初に明らかにし、したがって IML を潜在変数問題、$P(y|x)=\int P(y|z)\,P(z|x)\,dz$ と解釈する。
この解釈に従えば、現在のMLモデルが不十分な原因を暗黙的なアーティファクトモデリング戦略として指摘し、明示的な方法で$z$のモデリングの必要性を強調します。
直接ラベルがなければ、この機能の切り離しは、この明示的なモデリングの最も適切な解決策である。
そこで我々はPairwise Artifacts Learning (PAL) とStandard Localization (SL) の2段階の学習パラダイムを提案し,編集関係を通じて$P(z|x)$と$P(y|z)$を推定する。
編集関係に基づく学習を支援するため,ペア構築のための編集グループに編成されたソース編集データセットであるEditGroup-45Kをキュレートする。
大規模な実験により、我々のPALパラダイムは多様なIMLアーキテクチャ間で一貫した改善をもたらすことが示され、実証分析により、PALが特徴のゆがみを通じて明確にアーティファクトを捕捉していることが検証された。
コードとデータセットはhttps://github.com/venus-guangjian/PALで公開されている。
関連論文リスト
- Learning an Image Editing Model without Image Editing Pairs [83.03646586929638]
最近の画像編集モデルは、自然言語編集の指示に従いながら印象的な成果を上げている。
それらは、インプットとターゲットのペアの大きなデータセットによる教師付き微調整に依存している。
現在の回避策は、既存のモデルのゼロショット機能を利用する合成トレーニングペアを使用する。
ペア化されたデータを完全に不要にする新たなトレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2025-10-16T17:59:57Z) - Reasoning to Attend: Try to Understand How <SEG> Token Works [44.33848900059659]
我々は、$texttSEG>$トークンが、画像とテキストのペア内のセマンティックな類似性に寄与していることを示す。
本稿では,高活性点の誘導の下で,LMMの高強度な$textbfREA$soning機能を実現するREADを提案する。
論文 参考訳(メタデータ) (2024-12-23T17:44:05Z) - NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。
NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
論文 参考訳(メタデータ) (2024-11-08T20:11:24Z) - Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。
本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。
オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
論文 参考訳(メタデータ) (2024-10-13T00:14:08Z) - VLKEB: A Large Vision-Language Model Knowledge Editing Benchmark [53.091690659399234]
大規模言語モデル(LLM)の知識編集は注目されている。
3つのメトリクス(信頼性、局所性、一般性)からなる既存のLVLM編集ベンチマークは、合成された評価画像の品質が不足している。
我々は、新しいLarge $textbfV$ision-$textbfL$anguage Modelを構築するために、より信頼性の高いデータ収集手法を使用します。
論文 参考訳(メタデータ) (2024-03-12T06:16:33Z) - IML-ViT: Benchmarking Image Manipulation Localization by Vision Transformer [25.673986942179123]
高度な画像改ざん技術はマルチメディアの信頼性に挑戦している。
優れたIMLモデルとは何か?答はアーティファクトをキャプチャする方法にある。
We build a ViT paradigm IML-ViT, which has a high- resolution capacity, multi-scale feature extract capabilities, and manipulate edge supervision。
我々は、この単純だが効果的なViTパラダイムであるIML-ViTを、IMLの新しいベンチマークとなる大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-07-27T13:49:27Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳(メタデータ) (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。