論文の概要: Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space

• arxiv url: http://arxiv.org/abs/2606.15104v1
• Date: Sat, 13 Jun 2026 04:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.845385
• Title: Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space
• Title（参考訳）: 赤外・可視画像のためのテキスト駆動融合:双曲空間における画像シーン適応の実現
• Authors: Huan Kang, Hui Li, Tianyang Xu, Tao Zhou, Xiao-Jun Wu, Josef Kittler,
• Abstract要約: 赤外線と可視画像の融合は相補的なモダリティを統合することを目的としている。 双曲的多様体学習によるテキスト駆動型融合フレームワークを提案する。 実験の結果,提案手法はベンチマークデータセットの最先端手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 63.220767051340005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion aims to integrate complementary modalities, while existing Euclidean methods impose rigid distance metrics that distort multi-modal interactions and parent-to-child semantic hierarchies. To overcome these limitations, we introduce a text-driven fusion framework empowered by hyperbolic manifold learning. During training, BLIP-extracted text prompts serve as topological anchors within the hyperbolic space, guiding vision-attribute alignment through hyperbolic embeddings that naturally accommodate varying semantic granularities. By exploiting the exponential volume growth dictated by the Poincaré ball's negative curvature, this approach seamlessly embeds hierarchical trees to encode coarse-to-fine semantics without metric saturation, while the vast peripheral space prevents texture distortion during cross-modal fusion. At inference, the fusion process autonomously adapts to input content using the learned text-attribute priors, completely eliminating the need for textual input. Experimental results show our method outperforms state-of-the-art approaches on benchmark datasets, with code available at https://github.com/Shaoyun2023/TEDFusion.
• Abstract（参考訳）: 赤外および可視画像融合は相補的なモダリティを統合することを目的としており、既存のユークリッド法では多モード相互作用と親子間のセマンティック階層を歪める厳密な距離の指標を課している。 これらの制限を克服するために,双曲的多様体学習によって強化されたテキスト駆動型融合フレームワークを導入する。 訓練中、BLIP抽出されたテキストプロンプトは双曲空間内のトポロジカルアンカーとして機能し、様々な意味的粒度を自然に許容する双曲埋め込みを通して視覚-属性アライメントを導く。 ポアンカレ球の負曲率によって決定される指数的な体積成長を利用して、このアプローチは階層木をシームレスに埋め込み、計量飽和のない粗大な意味論を符号化する。 推測において、融合プロセスは、学習されたテキスト属性の事前情報を用いて、自動的に入力コンテンツに適応し、テキスト入力の必要性を完全に排除する。 実験の結果,我々の手法はベンチマークデータセットにおける最先端のアプローチよりも優れており,コードもhttps://github.com/Shaoyun2023/TEDFusionで公開されている。

関連論文リスト

• EAPFusion: Intrinsic Evolving Auxiliary Prior Guidance for Infrared and Visible Image Fusion [15.580984590527343]
  赤外線可視画像融合は、赤外線センシングによる相補的な熱塩分と、可視画像からの微細なテクスチャを統合することで、情報に富んだ融合画像を作成することを目的としている。 既存の融合法の多くは、推論時にシーン固有のコンテンツに適応できない静的なトレーニングされた重みに依存している。 本研究では,外部補助モデルに頼らず,自己進化型固有の先行モデルを用いて,これらの問題に対処するEAPFusionを提案する。
  論文  参考訳（メタデータ） (2026-05-03T14:56:00Z)
• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Modality Alignment across Trees on Heterogeneous Hyperbolic Manifolds [49.95082206008502]
  ツリーを横断するアライメントは、画像とテキストのモダリティの両方に対してツリーのような階層的な特徴を構築し、調整する手法である。 本稿では,中間トランスフォーマー層からの視覚的クラストークンにクロスアテンション機構を適用した意味認識型視覚特徴抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-31T11:32:15Z)
• Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers [56.76198904599581]
  テキストと画像の拡散モデルは、言語翻訳において優れているため、モーダル間の注意機構を通じて暗黙的に概念を基礎づける。 近年のマルチモーダル拡散トランスフォーマーでは, 共用画像とテキストトークンを導入し, よりリッチでスケーラブルなクロスモーダルアライメントを実現している。 MM-DiTの注意構造を分析するための体系的フレームワークであるSeg4Diffを導入し,テキストから画像への意味情報の伝達方法に着目した。
  論文  参考訳（メタデータ） (2025-09-22T17:59:54Z)
• MSGFusion: Multimodal Scene Graph-Guided Infrared and Visible Image Fusion [10.160499805076755]
  赤外線および可視画像のためのマルチモーダルシーングラフ誘導融合フレームワークであるMSGFusionを紹介する。 テキストと視覚から得られる構造化されたシーングラフを深く結合することにより、MSGFusionはエンティティ、属性、空間関係を明示的に表現する。 低照度オブジェクト検出、セマンティックセグメンテーション、医療画像融合といった下流タスクにおいて、セマンティック一貫性と一般化性を提供する。
  論文  参考訳（メタデータ） (2025-09-16T09:58:06Z)
• GrFormer: A Novel Transformer on Grassmann Manifold for Infrared and Visible Image Fusion [33.925249998725896]
  赤外線および可視光融合のためのグラスマン多様体に基づく新しいアテンション機構を提案する。 提案手法はグラスマン多様体上の射影制約を通した低ランク部分空間写像を構成する。 これにより、特徴を高周波詳細(局所低ランク)と低周波数意味論(グローバル低ランク)に分離せざるを得ない。
  論文  参考訳（メタデータ） (2025-06-17T10:32:05Z)
• ShapeShift: Towards Text-to-Shape Arrangement Synthesis with Content-Aware Geometric Constraints [13.2441524021269]
  ShapeShiftはテキスト誘導による画像から画像への変換タスクであり、入力された剛体形状の集合を重複しない構成に再構成する必要がある。 重複が発生した場合に,最小限の意味的コヒーレントな調整を施す,コンテンツ対応の衝突解決機構を導入する。 本手法は,空間的関係がテキストのプロンプトをはっきりと具現化した解釈可能な構成を与える。
  論文  参考訳（メタデータ） (2025-03-18T20:48:58Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。