Fugu-MT 論文翻訳(概要): PyViT-FUSE: A Foundation Model for Multi-Sensor Earth Observation Data

論文の概要: PyViT-FUSE: A Foundation Model for Multi-Sensor Earth Observation Data

arxiv url: http://arxiv.org/abs/2504.18770v1
Date: Sat, 26 Apr 2025 02:34:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:53.982188
Title: PyViT-FUSE: A Foundation Model for Multi-Sensor Earth Observation Data
Title（参考訳）: PyViT-FUSE:マルチセンサー地球観測データの基礎モデル
Authors: Manuel Weber, Carly Beneke,
Abstract要約: マルチモーダル画像を扱うために設計された地球観測データの基礎モデルであるPyViT-FUSEを提案する。我々は,SwaVアルゴリズムのコア概念を活かして,グローバルなサンプルデータセット上で自己教師付きでモデルをトレーニングする。下流タスクに対する注意点とモデルの適用性を可視化することにより,融合機構の解釈可能性を示す。
参考スコア（独自算出の注目度）: 0.2209921757303168
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We propose PyViT-FUSE, a foundation model for earth observation data explicitly designed to handle multi-modal imagery by learning to fuse an arbitrary number of mixed-resolution input bands into a single representation through an attention mechanism. The learned patch tokens are further processed by a stack of vision transformers with a novel pyramidal structure. We train the model on a globally sampled dataset in a self-supervised manner, leveraging core concepts of the SwAV algorithm. We show the interpretability of the fusion mechanism by visualization of the attention scores and the models applicability to downstream tasks.
Abstract（参考訳）: PyViT-FUSEは、任意の数の混合解像度入力バンドを、アテンション機構を通じて単一の表現に融合させることで、マルチモーダル画像を扱うように明示的に設計された地球観測データの基盤モデルである。学習されたパッチトークンは、新しいピラミッド構造を持つ視覚変換器のスタックによってさらに処理される。我々は,SwaVアルゴリズムのコア概念を活かして,グローバルなサンプルデータセット上で自己教師付きでモデルをトレーニングする。下流タスクに対する注意点とモデルの適用性を可視化することにより,融合機構の解釈可能性を示す。

関連論文リスト

Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
実世界のマルチビューデータセットは、しばしば不均一で不完全である。本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。実験では、教師なしマルチビュークラスタリング、ノイズラベル分類、およびクロスモーダルハッシュ検索のためのプラグ・アンド・プレイモジュールとして採用する。
論文参考訳（メタデータ） (2025-03-06T07:01:08Z)
Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
論文参考訳（メタデータ） (2024-04-11T03:00:00Z)
Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文参考訳（メタデータ） (2024-03-26T06:04:50Z)
One for All: Toward Unified Foundation Models for Earth Vision [24.358013737755822]
現在のリモートセンシング基礎モデルは、単一のモダリティまたは特定の空間解像度範囲に特化している。空間解像度の異なる複数のデータモダリティに対して,単一の共有トランスフォーマーバックボーンを用いるOFA-Netを導入する。提案手法は,12の異なる下流タスクに対して評価し,有望な性能を示す。
論文参考訳（メタデータ） (2024-01-15T08:12:51Z)
Multi-View Unsupervised Image Generation with Cross Attention Guidance [23.07929124170851]
本稿では,単一カテゴリデータセット上でのポーズ条件拡散モデルの教師なし学習のための新しいパイプラインを提案する。特定のオブジェクト部分の可視性と位置を比較することで、データセットをクラスタリングすることで、オブジェクトのポーズを識別する。我々のモデルであるMIRAGEは、実画像における新しいビュー合成における先行研究を超越している。
論文参考訳（メタデータ） (2023-12-07T14:55:13Z)
Vision Transformers Need Registers [26.63912173005165]
教師付きと自己監督型の両方のViTネットワークの特徴マップのアーティファクトを特定し,特徴付けする。このソリューションは、教師付きモデルと自己教師型モデルの両方で完全にその問題を解決する。
論文参考訳（メタデータ） (2023-09-28T16:45:46Z)
With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文参考訳（メタデータ） (2023-08-23T18:53:00Z)
Mutual Information Regularization for Weakly-supervised RGB-D Salient Object Detection [33.210575826086654]
弱教師付きRGB-Dサルエント物体検出モデルを提案する。モーダル相互情報正規化による効果的なマルチモーダル表現学習に着目した。
論文参考訳（メタデータ） (2023-06-06T12:36:57Z)
AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文参考訳（メタデータ） (2023-05-04T23:46:49Z)
STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-03-31T16:19:27Z)
EnfoMax: Domain Entropy and Mutual Information Maximization for Domain Generalized Face Anti-spoofing [0.0]
Face Anti-Spoofing (FAS) 法はドメイン内の設定でよく機能する。ドメイン一般化(DG)法はFASにおいて注目されている。本稿では,情報理論を用いてドメイン間FASタスクを解析するEnfoMaxフレームワークを提案する。
論文参考訳（メタデータ） (2023-02-17T03:54:18Z)
Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。