論文の概要: ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization
- arxiv url: http://arxiv.org/abs/2606.24538v1
- Date: Tue, 23 Jun 2026 13:06:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.962234
- Title: ForensicsTok: Forensics-Guided Tokenized Modeling for Image Tampering Localization
- Title（参考訳）: ForensicsTok: 画像テーパーの局所化のためのフォレシクスガイドによるトークン化モデリング
- Authors: Lei Xu, Haowei Wang, Shen Chen, Taiping Yao, Bin Li, Changsheng Chen,
- Abstract要約: 本稿では,自動回帰シーケンス生成タスクとして画像操作のローカライゼーションを再構成するForensicsTokを提案する。
ForensicsTokは空間的に接地されたトークンシーケンスを直接生成し、中間管理なしで正確なマスク予測を可能にする。
- 参考スコア（独自算出の注目度）: 31.83661814822312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal Large Language Models (MLLMs) offer powerful reasoning for forensic tasks, yet existing approaches utilizing exogenous segmentation decoders often suffer from suboptimal localization. The reliance on stitched pipelines introduces information bottlenecks during backpropagation, which dilutes spatial signals and is limited by semantic priors of the segmentor. To address these limitations, we propose ForensicsTok, which reformulates image manipulation localization as an autoregressive sequence generation task. ForensicsTok directly generates spatially grounded token sequences, enabling precise mask prediction without intermediary supervision. Specifically, we introduce a Token Splatting Decoder (TSD) to map tokens to binary masks via codebook-aware code smoothing, which mitigates sharp gradients from deterministic detokenizers. Furthermore, to capture diverse tampering clues, we propose a Hierarchical Expert Fusion (HEF) module that injects multi-scale features from a forensic expert model. This unified architecture effectively compensates for the lack of forensic priors in standard MLLMs. Extensive experiments on six benchmarks show that ForensicsTok substantially improves over existing MLLM-based baselines and slightly improves over strong forensic expert baselines, while exhibiting stronger robustness to perturbations.
- Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、法医学的タスクに対する強力な推論を提供するが、外因性セグメンテーションデコーダを用いた既存のアプローチは、しばしば最適部分ローカライゼーションに悩まされる。
縫合パイプラインへの依存は、バックプロパゲーション中に情報ボトルネックを導入し、空間的信号を希釈し、セグメンタの意味的先行によって制限される。
これらの制約に対処するため、自動回帰シーケンス生成タスクとして画像操作のローカライゼーションを再構成するForensicsTokを提案する。
ForensicsTokは空間的に接地されたトークンシーケンスを直接生成し、中間管理なしで正確なマスク予測を可能にする。
具体的には、トークンをコードブック対応のコードスムーシングによってバイナリマスクにマッピングするToken Splatting Decoder (TSD)を導入し、決定論的デトケナイザからの急勾配を緩和する。
さらに,多種多様な触覚的手がかりを捉えるために,法医学的専門家モデルから多種多様な特徴を注入する階層的エキスパートフュージョン (HEF) モジュールを提案する。
この統一アーキテクチャは、標準MLLMにおける法医学的事前の欠如を効果的に補う。
6つのベンチマークの大規模な実験によると、ForensicsTokは既存のMLLMベースのベースラインを大幅に改善し、強力な法医学専門家ベースラインよりもわずかに改善し、摂動に対する強い堅牢性を示している。
関連論文リスト
- Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。
本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。
これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文 参考訳（メタデータ） (2026-06-14T16:05:45Z) - Excite, Attend and Segment (EASe): Domain-Agnostic Fine-Grained Mask Discovery with Feature Calibration and Self-Supervised Upsampling [0.0]
Excite, Attend and Segment (EASe)は、教師なしドメインに依存しないセマンティックセグメンテーションフレームワークである。
本評価は,従来の最先端技術よりもEASeの優れた性能を示すものである。
論文 参考訳（メタデータ） (2026-03-31T22:03:15Z) - ForensicZip: More Tokens are Better but Not Necessary in Forensic Vision-Language Models [108.5042835056188]
フォージェリ駆動の観点からトークン圧縮を再構築するトレーニングフリーフレームワークであるForensicZipを紹介した。
ForensicZipは、最先端検出性能を維持しながら、スピードアップとFLOPの90%以上を達成している。
論文 参考訳（メタデータ） (2026-03-12T17:30:49Z) - SIGMAE: A Spectral-Index-Guided Foundation Model for Multispectral Remote Sensing [43.39478017496301]
Masked Autoencoder (MAE) ベースの事前訓練は、マスク付き画像領域を再構成することで、一般的な特徴表現を学習する強力な能力である。
多スペクトルリモートセンシング画像へのMAEの適用は、複雑な背景、不明瞭なターゲット、マスキング中の意味的ガイダンスの欠如など、依然として困難である。
SIGMAEは、ドメイン固有のスペクトル指標を事前知識として組み込んで、動的トークンマスキングを情報領域へ導く。
論文 参考訳（メタデータ） (2026-03-08T04:55:41Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Propose and Rectify: A Forensics-Driven MLLM Framework for Image Manipulation Localization [49.71303998618939]
本稿では,意味論的推論と法科学的な分析を橋渡しするPropose-Rectifyフレームワークを提案する。
提案手法は,具体的技術実証により,初期セマンティックな提案が体系的に検証され,拡張されることを保証し,包括的検出精度と局所化精度を実現する。
論文 参考訳（メタデータ） (2025-08-25T12:43:53Z) - ForgeryGPT: Multimodal Large Language Model For Explainable Image Forgery Detection and Localization [49.12958154544838]
ForgeryGPTはImage Forgery DetectionとLocalizationタスクを進化させる新しいフレームワークである。
多様な言語的特徴空間からの偽画像の高次相関をキャプチャする。
新たにカスタマイズされたLarge Language Model (LLM)アーキテクチャを通じて、説明可能な生成と対話を可能にする。
論文 参考訳（メタデータ） (2024-10-14T07:56:51Z) - Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。
このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文 参考訳（メタデータ） (2024-08-05T08:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。