論文の概要: From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion
- arxiv url: http://arxiv.org/abs/2606.12303v1
- Date: Wed, 10 Jun 2026 16:40:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.571031
- Title: From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion
- Title（参考訳）: 2次元グリッドから1次元トークンへ:マルチモーダル画像融合のための共有表現の改革
- Authors: Yuchen Xian, Yunqiu Xu, Yang He, Yi Yang,
- Abstract要約: マルチモーダル画像融合は、異なるモーダルからの相補的な情報を融合画像に統合することを目的としている。
非局所的な外見/ベース要素をモデル化するための凍結事前訓練画像トークン化器に基づくコンパクトな1Dトークンインタフェースを提案する。
提案手法は,グローバルコヒーレンスと局所忠実度の両方において,一貫したマルチメトリック改良を施し,全体的な性能を向上する。
- 参考スコア（独自算出の注目度）: 16.593435991566828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal image fusion aims to integrate complementary information from different modalities into a fused image that preserves rich local details while maintaining globally consistent appearance. Existing approaches build shared representations on 2D feature grids, which excel at modeling local structures but offer limited leverage over image-level global appearance factors. To balance these objectives, we introduce a compact 1D token interface based on a frozen pretrained image tokenizer for modeling non-local appearance/base factors. Rather than using the tokenizer as a reconstruction backbone, our design uses the 1D token space as a global carrier while retaining the 2D spatial pathway for local structure restoration. Specifically, we introduce Selective Token Editing (STE), which sparsely updates/replaces a small set of critical tokens, providing a lightweight mechanism to steer global appearance coherence while keeping the fusion backbone unchanged and avoiding extra losses. Experiments on four commonly used benchmarks show that our method achieves the best overall performance, with consistent, multi-metric improvements in both global coherence and local fidelity. Project page: https://zju-xyc.github.io/1D-Fusion-Project-Page/
- Abstract（参考訳）: マルチモーダル画像融合は、異なるモダリティからの相補的な情報を融合した画像に統合することを目的としている。
既存のアプローチでは、2D特徴格子上に共有表現を構築しており、局所構造をモデル化する上で優れているが、画像レベルのグローバルな外観要因よりも限られたレバレッジを提供する。
これらの目的のバランスをとるために、非局所的な外観/ベース要素をモデル化するための凍結事前訓練画像トークン化器に基づくコンパクトな1Dトークンインタフェースを導入する。
本設計では1次元トークン空間をグローバルキャリアとして使用し,局所構造復元のための2次元空間経路を維持できる。
具体的には、STE(Selective Token Editing)を導入し、少量のクリティカルトークンの更新/置換を行い、融合のバックボーンを変更せず、余分な損失を回避しつつ、グローバルな外観コヒーレンスを維持できる軽量なメカニズムを提供する。
4つのベンチマーク実験から,本手法はグローバルコヒーレンスと局所忠実度の両方において一貫したマルチメトリック改善により,最高の総合的性能を達成することが示された。
プロジェクトページ:https://zju-xyc.github.io/1D-Fusion-Project-Page/
関連論文リスト
- UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。
既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。
高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
論文 参考訳（メタデータ） (2025-12-15T02:59:16Z) - Complementary Information Guided Occupancy Prediction via Multi-Level Representation Fusion [73.11061598576798]
カメラによる占有予測は、自動運転における3D知覚の主流のアプローチである。
textbfCIGOccはマルチレベル表現融合に基づく2段階の占有予測フレームワークである。
textbfCIGOccは、入力画像からセグメンテーション、グラフィックス、深さの特徴を抽出し、変形可能なマルチレベル融合機構を導入する。
論文 参考訳（メタデータ） (2025-10-15T06:37:33Z) - RelayFormer: A Unified Local-Global Attention Framework for Scalable Image and Video Manipulation Localization [50.75654397516163]
様々な解像度とモダリティに対応する統一フレームワークであるRelayFormerを提案する。
RelayFormerは、入力を固定サイズのサブイメージに分割し、Global-Local Relay(GLR)トークンを導入する。
これにより、セマンティックや時間的一貫性などのグローバルなキューを効率よく交換でき、きめ細かいアーティファクトを保存できる。
論文 参考訳（メタデータ） (2025-08-13T03:35:28Z) - Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion [53.60977801655896]
高品質なマルチモーダル画像融合を実現するためには,高精度なマルチモーダル画像ペアの取得が不可欠である。
我々は、新しい自己教師型 textbfBi-directional textbfSelf-textbfRegistration framework (textbfB-SR) を提案する。
論文 参考訳（メタデータ） (2025-05-11T09:36:25Z) - Unity is Strength: Unifying Convolutional and Transformeral Features for Better Person Re-Identification [60.9670254833103]
人物再識別(ReID)は、重複しないカメラを通して特定の人物を回収することを目的としている。
画像に基づく人物ReIDのためのCNNとトランスフォーマーの強みを統合するために,FusionReIDと呼ばれる新しい融合フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-23T03:19:19Z) - FuseFormer: A Transformer for Visual and Thermal Image Fusion [3.6064695344878093]
本稿では,従来の評価指標を損失関数として用いた場合の限界を緩和する画像融合問題に対する新しい手法を提案する。
提案手法は,局所的およびグローバルなコンテキスト情報に順応的に対処するトランスフォーマーベースのマルチスケール融合戦略を統合する。
提案手法は,新たな損失関数の定義とともに,他の競合融合アルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-01T19:40:39Z) - Keypoint-Augmented Self-Supervised Learning for Medical Image
Segmentation with Limited Annotation [21.203307064937142]
本稿では,短距離と長距離の両方の自己注意を保った表現を抽出するキーポイント拡張融合層を提案する。
特に,長距離空間の自己意識を学習する追加入力を組み込むことで,CNN機能マップを複数スケールで拡張する。
提案手法は,より堅牢な自己アテンションを生成することにより,既存のSSLメソッドよりも優れる。
論文 参考訳（メタデータ） (2023-10-02T22:31:30Z) - Inter-Image Communication for Weakly Supervised Localization [77.2171924626778]
弱教師付きローカライゼーションは、画像レベルの監督のみを使用して対象対象領域を見つけることを目的としている。
我々は,より正確な物体位置を学習するために,異なる物体間の画素レベルの類似性を活用することを提案する。
ILSVRC検証セット上でトップ1のローカライズ誤差率45.17%を達成する。
論文 参考訳（メタデータ） (2020-08-12T04:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。