論文の概要: Robust Fusion Controller: Degradation-aware Image Fusion with Fine-grained Language Instructions

• arxiv url: http://arxiv.org/abs/2504.05795v2
• Date: Wed, 09 Apr 2025 10:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:36.373880
• Title: Robust Fusion Controller: Degradation-aware Image Fusion with Fine-grained Language Instructions
• Title（参考訳）: ロバスト・フュージョン・コントローラ:微粒な言語命令による劣化認識画像フュージョン
• Authors: Hao Zhang, Yanping Zha, Qingwei Zhuang, Zhenfeng Shao, Jiayi Ma,
• Abstract要約: 現在の画像融合法は、空間的に異なる特徴を持つ多様な劣化を含む現実世界環境への適応に苦慮している。 微細な言語命令を通した分解認識画像融合を実現する頑健な融合制御器を提案する。 私たちのRFCは、特に非常に困難なフレアシナリオにおいて、様々な複合劣化に対して堅牢です。
• 参考スコア（独自算出の注目度）: 26.269399073437903
• License:
• Abstract: Current image fusion methods struggle to adapt to real-world environments encompassing diverse degradations with spatially varying characteristics. To address this challenge, we propose a robust fusion controller (RFC) capable of achieving degradation-aware image fusion through fine-grained language instructions, ensuring its reliable application in adverse environments. Specifically, RFC first parses language instructions to innovatively derive the functional condition and the spatial condition, where the former specifies the degradation type to remove, while the latter defines its spatial coverage. Then, a composite control priori is generated through a multi-condition coupling network, achieving a seamless transition from abstract language instructions to latent control variables. Subsequently, we design a hybrid attention-based fusion network to aggregate multi-modal information, in which the obtained composite control priori is deeply embedded to linearly modulate the intermediate fused features. To ensure the alignment between language instructions and control outcomes, we introduce a novel language-feature alignment loss, which constrains the consistency between feature-level gains and the composite control priori. Extensive experiments on publicly available datasets demonstrate that our RFC is robust against various composite degradations, particularly in highly challenging flare scenarios.
• Abstract（参考訳）: 現在の画像融合法は、空間的に異なる特徴を持つ多様な劣化を含む現実世界環境への適応に苦慮している。 この課題に対処するため、我々は、細粒度言語命令による劣化認識画像融合を実現する頑健な融合制御器(RFC)を提案し、その悪環境における信頼性を保証する。 具体的には、RFCがまず言語命令を解析し、機能条件と空間条件を革新的に導出する。 そして、多条件結合ネットワークを介して複合制御優先度を生成し、抽象言語命令から潜在制御変数へのシームレスな遷移を実現する。 その後,得られた複合制御事前条件が深く埋め込まれたマルチモーダル情報を集約し,中間融合特性を線形に変調するハイブリッドアテンションベース融合ネットワークを設計する。 言語命令と制御結果の整合性を確保するために,特徴レベルゲインと合成制御優先値との整合性を制限する新しい言語機能アライメント損失を導入する。 公開データセットに関する大規模な実験は、RFCが様々な複合劣化、特に非常に困難なフレアシナリオに対して堅牢であることを示している。

関連論文リスト

• Multi-Modality Driven LoRA for Adverse Condition Depth Estimation [61.525312117638116]
  逆条件深さ推定のためのMulti-Modality Driven LoRA(MMD-LoRA)を提案する。 Prompt Driven Domain Alignment (PDDA) と Visual-Text Consistent Contrastive Learning (VTCCL) の2つのコアコンポーネントで構成されている。 nuScenesとOxford RobotCarデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-28T14:23:58Z)
• Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding [12.330893658398042]
  本稿では,HySEGGAN(Hybrid Semantic Embedding Guided Geneversarative Adversarial Network)を提案する。 特徴記述をベースとして,局所的セマンティックレイアウトの微粒化を調整するハイブリッドセマンティック・エンベディング法を提案する。 セマンティック・リファインメント・ネットワーク(SRN)が導入された。
  論文  参考訳（メタデータ） (2024-11-22T07:51:36Z)
• HAAP: Vision-context Hierarchical Attention Autoregressive with Adaptive Permutation for Scene Text Recognition [17.412985505938508]
  内部言語モデル(LM)に基づく手法は、外部のLMに基づく手法で条件独立性に起因する誤り訂正を解決するために置換言語モデリング(PLM)を用いる。 本稿では,アダプティブ・パーミューテーション(Adaptive Permutation, HAAP)を用いた階層的注意自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:41:43Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks [10.880057430629126]
  切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。 本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。 本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
  論文  参考訳（メタデータ） (2023-05-02T18:27:13Z)
• FER-former: Multi-modal Transformer for Facial Expression Recognition [14.219492977523682]
  本稿では,表情認識のための多孔性監視ステアリングトランスを提案する。 提案手法は,多粒性埋め込み統合,ハイブリッド自己アテンション方式,及びヘテロジニアス・ドメイン・ステアリング・インスペクションを特徴とする。 人気のあるベンチマークの実験では、既存の最先端技術よりも提案されたFER-formerの方が優れていることが示されている。
  論文  参考訳（メタデータ） (2023-03-23T02:29:53Z)
• An Extensible Plug-and-Play Method for Multi-Aspect Controllable Text Generation [70.77243918587321]
  複数の側面で生成されたテキストを制御するマルチアスペクト制御可能なテキスト生成が注目されている。 干渉に対する理論的な下界を提供し、プレフィックスが挿入される層の数に応じて干渉が増加することを経験的に見出した。 トレーニング可能なゲートを用いてプレフィックスの介入を正規化し、増大する干渉を抑制することを提案する。
  論文  参考訳（メタデータ） (2022-12-19T11:53:59Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。