論文の概要: HyperFree: A Channel-adaptive and Tuning-free Foundation Model for Hyperspectral Remote Sensing Imagery
- arxiv url: http://arxiv.org/abs/2503.21841v1
- Date: Thu, 27 Mar 2025 10:27:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:29:54.353875
- Title: HyperFree: A Channel-adaptive and Tuning-free Foundation Model for Hyperspectral Remote Sensing Imagery
- Title（参考訳）: HyperFree:ハイパースペクトルリモートセンシングのためのチャネル適応型およびチューニング不要基礎モデル
- Authors: Jingtao Li, Yingyi Liu, Xinyu Wang, Yunning Peng, Chen Sun, Shaoyu Wang, Zhendong Sun, Tian Ke, Xiao Jiang, Tangwei Lu, Anran Zhao, Yanfei Zhong,
- Abstract要約: 本稿では,HyperFreeと呼ばれるチューニング不要なハイパースペクトル基盤モデルを提案する。
各種チャネル数を処理するために,0.4 sim 2.5,mutextm$から全スペクトルをカバーする学習重量辞書を設計し,埋め込み層を動的に構築する。
プロンプト設計をより魅力的にするために、HyperFreeは特徴距離をセマンティック類似性として扱うことで、1プロンプトごとに複数のセマンティックアウェアマスクを生成することができる。
- 参考スコア（独自算出の注目度）: 12.53314330206278
- License:
- Abstract: Advanced interpretation of hyperspectral remote sensing images benefits many precise Earth observation tasks. Recently, visual foundation models have promoted the remote sensing interpretation but concentrating on RGB and multispectral images. Due to the varied hyperspectral channels,existing foundation models would face image-by-image tuning situation, imposing great pressure on hardware and time resources. In this paper, we propose a tuning-free hyperspectral foundation model called HyperFree, by adapting the existing visual prompt engineering. To process varied channel numbers, we design a learned weight dictionary covering full-spectrum from $0.4 \sim 2.5 \, \mu\text{m}$, supporting to build the embedding layer dynamically. To make the prompt design more tractable, HyperFree can generate multiple semantic-aware masks for one prompt by treating feature distance as semantic-similarity. After pre-training HyperFree on constructed large-scale high-resolution hyperspectral images, HyperFree (1 prompt) has shown comparable results with specialized models (5 shots) on 5 tasks and 11 datasets.Code and dataset are accessible at https://rsidea.whu.edu.cn/hyperfree.htm.
- Abstract（参考訳）: ハイパースペクトルリモートセンシング画像の高度な解釈は、多くの精密な地球観測に役立っている。
近年、視覚基盤モデルはリモートセンシングの解釈を促進するが、RGBやマルチスペクトル画像に集中している。
様々なハイパースペクトルチャネルのため、既存のファンデーションモデルは画像毎のチューニング状況に直面し、ハードウェアや時間資源に大きな圧力をかけることになる。
本稿では,既存の視覚的プロンプト工学を適用することで,HyperFreeと呼ばれるチューニング不要なハイパースペクトル基盤モデルを提案する。
各種チャネル数を処理するために,0.4 \sim 2.5 \, \mu\text{m}$からフルスペクトルをカバーする学習重量辞書を設計し,埋め込み層を動的に構築する。
プロンプト設計をより魅力的にするために、HyperFreeは特徴距離をセマンティック類似性として扱うことで、1プロンプトごとに複数のセマンティックアウェアマスクを生成することができる。
構築された大規模な高解像度ハイパースペクトル画像でHyperFreeを事前トレーニングした後、HyperFree (1 prompt)は5つのタスクと11のデータセットの特別なモデル(5つのショット)で同等の結果を示した。コードとデータセットはhttps://rsidea.whu.wu.edu.cn/hyperfree.htmでアクセスできる。
関連論文リスト
- Grayscale to Hyperspectral at Any Resolution Using a Phase-Only Lens [0.0]
我々は、HxWグレースケールのスナップショット測定から、HxWx31ハイパースペクトル像を再構成する問題について検討する。
我々は,小さなパッチで動作する条件付き偏差拡散モデルを訓練することにより,限られたデータの利用を効率的に行う。
実験の結果,パッチサイズはPSFほど小さく,良好な結果が得られた。
論文 参考訳（メタデータ） (2024-12-03T20:00:21Z) - $\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions [58.42011190989414]
無限次元における新しい条件拡散モデル、制御可能な大画像合成のための$infty$-Brushを導入する。
我々の知る限り、$infty$-Brushは関数空間における最初の条件拡散モデルであり、最大4096times4096$ピクセルの任意の解像度で画像を制御できる。
論文 参考訳（メタデータ） (2024-07-20T00:04:49Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳（メタデータ） (2024-03-29T10:38:25Z) - HyperPlanes: Hypernetwork Approach to Rapid NeRF Adaptation [4.53411151619456]
本稿では,推論中に勾配最適化を必要としないハイパーネットワークのパラダイムに基づく数ショットの学習手法を提案する。
我々は,少数の画像から高品質な3Dオブジェクト表現を単一ステップで生成する効率的な方法を開発した。
論文 参考訳（メタデータ） (2024-02-02T16:10:29Z) - MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting [5.431115840202783]
より包括的なパターン相互作用モデリングを促進するために,マルチスケールハイパーグラフトランス (MSHyper) フレームワークを提案する。
MSHyperは様々な設定で最先端のSOTA(State-of-the-art)パフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-01-17T15:12:11Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image
Diffusion Models with Large Language Models [62.75006608940132]
本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。
提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。
提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
論文 参考訳（メタデータ） (2023-05-23T03:59:06Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - Computing Multiple Image Reconstructions with a Single Hypernetwork [19.573768098158]
本研究では,HyperReconと呼ばれるハイパーネットワークベースの手法を用いて,再構成モデルのトレーニングを行う。
提案手法は,2つの大規模および公開可能なMRIデータセットを用いて,圧縮センシング,超高分解能,高分解能タスクにおける実演を行う。
論文 参考訳（メタデータ） (2022-02-22T16:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。