論文の概要: RelayFormer: A Unified Local-Global Attention Framework for Scalable Image and Video Manipulation Localization
- arxiv url: http://arxiv.org/abs/2508.09459v2
- Date: Fri, 03 Oct 2025 14:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 14:21:29.846592
- Title: RelayFormer: A Unified Local-Global Attention Framework for Scalable Image and Video Manipulation Localization
- Title（参考訳）: RelayFormer: スケーラブルな画像とビデオ操作のローカライゼーションのための統一ローカルグローバルアテンションフレームワーク
- Authors: Wen Huang, Jiarui Yang, Tao Dai, Jiawei Li, Shaoxiong Zhan, Bin Wang, Shu-Tao Xia,
- Abstract要約: 様々な解像度とモダリティに対応する統一フレームワークであるRelayFormerを提案する。
RelayFormerは、入力を固定サイズのサブイメージに分割し、Global-Local Relay(GLR)トークンを導入する。
これにより、セマンティックや時間的一貫性などのグローバルなキューを効率よく交換でき、きめ細かいアーティファクトを保存できる。
- 参考スコア（独自算出の注目度）: 50.75654397516163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual manipulation localization (VML) aims to identify tampered regions in images and videos, a task that has become increasingly challenging with the rise of advanced editing tools. Existing methods face two main issues: resolution diversity, where resizing or padding distorts forensic traces and reduces efficiency, and the modality gap, as images and videos often require separate models. To address these challenges, we propose RelayFormer, a unified framework that adapts to varying resolutions and modalities. RelayFormer partitions inputs into fixed-size sub-images and introduces Global-Local Relay (GLR) tokens, which propagate structured context through a global-local relay attention (GLRA) mechanism. This enables efficient exchange of global cues, such as semantic or temporal consistency, while preserving fine-grained manipulation artifacts. Unlike prior methods that rely on uniform resizing or sparse attention, RelayFormer naturally scales to arbitrary resolutions and video sequences without excessive overhead. Experiments across diverse benchmarks demonstrate that RelayFormer achieves state-of-the-art performance with notable efficiency, combining resolution adaptivity without interpolation or excessive padding, unified modeling for both images and videos, and a strong balance between accuracy and computational cost. Code is available at: https://github.com/WenOOI/RelayFormer.
- Abstract（参考訳）: 視覚操作のローカライゼーション(VML)は、画像やビデオの改ざんされた領域を特定することを目的としている。
既存の方法は2つの主要な問題に直面している: 解像度の多様性、リサイズまたはパッドの歪みが法医学的トレースを追跡、効率を低下させる、そして画像とビデオがしばしば別々のモデルを必要とするため、モダリティのギャップである。
これらの課題に対処するために、さまざまな解像度とモダリティに対応する統一フレームワークであるRelayFormerを提案する。
RelayFormerは、入力を固定サイズのサブイメージに分割し、グローバルローカルリレーアテンション(GLRA)機構を通じて構造化コンテキストを伝搬するGLRトークンを導入する。
これにより、セマンティックや時間的一貫性などのグローバルなキューを効率よく交換できると同時に、きめ細かいアーティファクトを保存できる。
RelayFormerは、一様リサイズやスパースアテンションに依存する従来の方法とは異なり、過度なオーバーヘッドを伴わずに、任意の解像度やビデオシーケンスに自然にスケールする。
様々なベンチマーク実験により、RelayFormerは最先端のパフォーマンスを顕著な効率で達成し、補間や過剰なパディングを伴わない解像度適応性、画像とビデオの統一モデリング、精度と計算コストのバランスが強いことが示されている。
コードは、https://github.com/WenOOI/RelayFormer.comで入手できる。
関連論文リスト
- Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
永続的な幾何学的異常であるモダリティギャップが残っている。
このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。
固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。
次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
論文 参考訳（メタデータ） (2026-02-02T13:59:39Z) - DyGLNet: Hybrid Global-Local Feature Fusion with Dynamic Upsampling for Medical Image Segmentation [8.283216541594284]
DyGLNetは,グローバル機能とローカル機能を動的アップサンプリング機構で融合することにより,効率的かつ正確なセグメンテーションを実現する。
7つの公開データセットの実験では、DyGLNetが既存のメソッドより優れていることが示されている。
DyGLNetは、より少ない複雑さを示し、臨床医用画像解析のための効率的で信頼性の高いソリューションを可能にしている。
論文 参考訳（メタデータ） (2025-09-16T07:24:20Z) - IM-LUT: Interpolation Mixing Look-Up Tables for Image Super-Resolution [21.982964666527646]
ルックアップテーブル(LUT)ベースのアプローチは、その効率と性能から関心を集めている。
既存のAISR技術は暗黙の神経表現を用いており、計算コストとメモリ要求がかなり高い。
本稿では,ASISR を動作させる新しいフレームワークである Interpolation Mixing LUT (IM-LUT) を提案する。
論文 参考訳（メタデータ） (2025-07-14T05:02:57Z) - Visual Semantic Description Generation with MLLMs for Image-Text Matching [7.246705430021142]
本稿では,マルチモーダル大言語モデル(MLLM)を視覚的意味論として活用することにより,モダリティギャップを橋渡しする新しいフレームワークを提案する。
提案手法は,(1)視覚特徴とVSDを融合して画像表現の言語表現性を高めることによるインスタンスレベルのアライメント,(2)カテゴリレベルのアライメントを確保するためのVSDクラスタリングによるプロトタイプレベルのアライメントを組み合わせたものである。
論文 参考訳（メタデータ） (2025-07-11T13:38:01Z) - A Global-Local Cross-Attention Network for Ultra-high Resolution Remote Sensing Image Semantic Segmentation [1.833928124984226]
GLCANetはUHRリモートセンシングのための軽量セグメンテーションフレームワークである。
セルフアテンションメカニズムは、長距離依存関係を強化し、グローバル機能を強化し、セマンティック一貫性を改善するためにローカル詳細を保存する。
マスク付きクロスアテンション機構は、グローバルローカルな特徴を適応的に融合させ、グローバルコンテキストを活用しながら細かな詳細を選択的に強化し、セグメンテーション精度を向上させる。
論文 参考訳（メタデータ） (2025-06-24T08:20:08Z) - FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [47.8417810406568]
最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。
本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
論文 参考訳（メタデータ） (2025-06-20T07:46:40Z) - LGM-Pose: A Lightweight Global Modeling Network for Real-time Human Pose Estimation [9.000760165185532]
これらの課題に対処するために,シングルブランチ軽量グローバルモデリングネットワーク (LGM-Pose) が提案されている。
このネットワークでは、軽量なMobileViMブロックが、LARM(Lightweight Attentional Representation Module)として提案されている。
論文 参考訳（メタデータ） (2025-06-05T02:29:04Z) - Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。
我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。
劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-19T09:54:46Z) - ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。
ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。
我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
論文 参考訳（メタデータ） (2025-01-31T16:11:04Z) - UTSRMorph: A Unified Transformer and Superresolution Network for Unsupervised Medical Image Registration [4.068692674719378]
複雑な画像登録は、医用画像解析において重要な課題である。
本稿では,UTSRMorphネットワークと統合トランスフォーマー(UTSRMorph)ネットワークという,教師なしの新たな画像登録手法を提案する。
論文 参考訳（メタデータ） (2024-10-27T06:28:43Z) - SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。
SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。
本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
論文 参考訳（メタデータ） (2024-07-08T22:40:15Z) - DGL: Dynamic Global-Local Prompt Tuning for Text-Video Retrieval [73.82017200889906]
テキストビデオ検索は、テキストクエリーに最も関連性の高いビデオを見つけるための重要なマルチモーダルタスクである。
我々は,グローバルローカルなビデオアテンションを考慮したモーダル動的プロンプトチューニング手法であるDGLを提案する。
従来のプロンプトチューニング手法とは対照的に,ローカルレベルのテキストとフレームプロンプトを生成するために,共有潜在空間を用いる。
論文 参考訳（メタデータ） (2024-01-19T09:58:06Z) - Multi-entity Video Transformers for Fine-Grained Video Representation Learning [34.26732761916984]
ビデオ表現学習のためのトランスフォーマーアーキテクチャの設計を再検討する。
このアプローチの重要な側面は、時間パイプラインにおけるシーン情報の共有の改善です。
我々のMV-Former(Multi-entity Video Transformer)は、フレームを時間にわたってリンクされたトークンとして表現されたエンティティのグループとして処理します。
論文 参考訳（メタデータ） (2023-11-17T21:23:12Z) - Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。
我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。
本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
論文 参考訳（メタデータ） (2023-10-08T06:10:09Z) - Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening [13.593522290577512]
パンシャーピングは,低分解能マルチスペクトル (LrMS) 画像の空間分解能を,対応するパンクロマティック (PAN) 画像の誘導により向上することを目的としている。
深層学習(DL)に基づくパンシャーピング法は有望な性能を達成しているが、そのほとんどは2倍の欠損を有する。
論文 参考訳（メタデータ） (2023-04-28T03:34:36Z) - Recursive Generalization Transformer for Image Super-Resolution [108.67898547357127]
本稿では,大域空間情報を捕捉し,高分解能画像に適した画像SRのための再帰一般化変換器(RGT)を提案する。
我々は,RG-SAと局所的自己意識を組み合わせることで,グローバルな文脈の活用を促進する。
我々のRGTは最近の最先端の手法よりも定量的に質的に優れている。
論文 参考訳（メタデータ） (2023-03-11T10:44:44Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - MuCAN: Multi-Correspondence Aggregation Network for Video
Super-Resolution [63.02785017714131]
ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。
フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。
VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
論文 参考訳（メタデータ） (2020-07-23T05:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。