論文の概要: Multispectral Texture Synthesis using RGB Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2410.16019v1
• Date: Mon, 21 Oct 2024 13:49:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:23.075223
• Title: Multispectral Texture Synthesis using RGB Convolutional Neural Networks
• Title（参考訳）: RGB畳み込みニューラルネットワークを用いたマルチスペクトルテクスチャ合成
• Authors: Sélim Ollivier, Yann Gousseau, Sidonie Lefebvre,
• Abstract要約: 最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。 本稿では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。
• 参考スコア（独自算出の注目度）: 2.3213238782019316
• License:
• Abstract: State-of-the-art RGB texture synthesis algorithms rely on style distances that are computed through statistics of deep features. These deep features are extracted by classification neural networks that have been trained on large datasets of RGB images. Extending such synthesis methods to multispectral images is not straightforward, since the pre-trained networks are designed for and have been trained on RGB images. In this work, we propose two solutions to extend these methods to multispectral imaging. Neither of them require additional training of the neural network from which the second order neural statistics are extracted. The first one consists in optimizing over batches of random triplets of spectral bands throughout training. The second one projects multispectral pixels onto a 3 dimensional space. We further explore the benefit of a color transfer operation upstream of the projection to avoid the potentially abnormal color distributions induced by the projection. Our experiments compare the performances of the various methods through different metrics. We demonstrate that they can be used to perform exemplar-based texture synthesis, achieve good visual quality and comes close to state-of-the art methods on RGB bands.
• Abstract（参考訳）: 最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。 これらの深い特徴は、RGB画像の大きなデータセットに基づいてトレーニングされたニューラルネットワークの分類によって抽出される。 事前学習されたネットワークはRGB画像用に設計され、訓練されているため、このような合成手法をマルチスペクトル画像に拡張することは容易ではない。 本研究では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。 どちらも、第2次ニューラルネットワーク統計を抽出するニューラルネットワークのさらなるトレーニングを必要としない。 1つ目は、トレーニングを通してスペクトル帯のランダムな三重項のバッチを最適化することである。 2つ目は、多重スペクトル画素を3次元空間に射影することである。 さらに、プロジェクションによって誘発される潜在的に異常な色分布を避けるために、プロジェクションの上流で色移動操作を行うことの利点について検討する。 実験では,様々な測定値を用いて各種手法の性能を比較した。 本稿では,RGBバンドのテクスチャ合成,視覚的品質の向上,そして最先端の手法に近づき得ることを実証する。

関連論文リスト

• Deep Learning Based Speckle Filtering for Polarimetric SAR Images. Application to Sentinel-1 [51.404644401997736]
  本稿では、畳み込みニューラルネットワークを用いて偏光SAR画像のスペックルを除去するための完全なフレームワークを提案する。 実験により,提案手法はスペックル低減と分解能保存の両方において例外的な結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-08-28T10:07:17Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Exploring Multi-modal Neural Scene Representations With Applications on Thermal Imaging [4.780283142269005]
  我々は、RGB以外の2次モードをNeRFに組み込むための4つの戦略を提案する。 放射能の点でRGBと大きく異なるため,熱画像は第2のモダリティとして選択した。 以上の結果から,第2分枝をNeRFに付加することは熱画像の新規なビュー合成に最適であり,かつRGBに有意な結果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2024-03-18T15:18:55Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Depth-Adapted CNNs for RGB-D Semantic Segmentation [2.341385717236931]
  我々は、RGB畳み込みニューラルネットワーク(CNN)に深度情報を組み込む新しい枠組みを提案する。 具体的には、Z-ACNは2次元奥行き適応オフセットを生成し、RGB画像の特徴抽出を誘導する低レベル特徴に完全に制約される。 生成されたオフセットでは、基本的なCNN演算子を置き換えるために、2つの直感的で効果的な操作を導入する。
  論文  参考訳（メタデータ） (2022-06-08T14:59:40Z)
• OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression [59.58879331876508]
  全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。 提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
  論文  参考訳（メタデータ） (2021-07-19T22:14:30Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition [10.796613905980609]
  オブジェクトおよびシーン認識タスクのための多モードRGB-D画像から識別的特徴表現を抽出する新しいフレームワークを提案する。 CNNアクティベーションの高次元性に対応するため、ランダムな重み付けプール方式が提案されている。 実験では、RNNステージにおける完全ランダム化構造がCNNアクティベーションを符号化し、識別的ソリッドな特徴を成功させることを確認した。
  論文  参考訳（メタデータ） (2020-04-26T10:58:27Z)
• Two-Level Attention-based Fusion Learning for RGB-D Face Recognition [21.735238213921804]
  RGBと深度という2つの画像モダリティを融合させてRGB-D顔認識を向上する新しいアテンションアウェアメント手法を提案する。 提案手法はまず,畳み込み特徴抽出器を用いて両モードから特徴を抽出する。 これらの特徴は、2層アテンション機構を用いて融合される。
  論文  参考訳（メタデータ） (2020-02-29T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。