論文の概要: NUViT: Vision Transformers for Fourier Space Data
- arxiv url: http://arxiv.org/abs/2610.32041v1
- Date: Fri, 23 Oct 2026 01:31:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.318094
- Title: NUViT: Vision Transformers for Fourier Space Data
- Title(参考訳): NUViT:フーリエ宇宙データのための視覚変換器
- Abstract要約: 視覚変換器(ViT)は多くのコンピュータビジョンタスクにおいて強い性能を示してきたが、自然画像領域を超えて自然に拡張するわけではない。
我々は、画像トークン化、データ表現、位置符号化を再設計し、この構造を尊重する、シンプルで汎用的な視覚変換器であるNon-Uniform ViTを紹介する。
- 参考スコア(独自算出の注目度): 6.687893845877235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision Transformers (ViTs) have demonstrated strong performance in many computer vision tasks but do not naturally extend beyond the natural image domain. One important example is Fourier-space data, which is used to represent a rich and diverse set of modalities, including medical imaging and microscopy. Standard ViT tokenization partitions an image into square patches on a Cartesian grid, which poorly fit the frequency and phase structure of Fourier-space data. We introduce Non-Uniform ViT, a simple, general-purpose vision transformer that redesigns image tokenization, data representation, and positional encoding to respect this structure. Experiments on Fourier-domain image classification, 2D crystal lattice identification, MRI annotation, and cryo-EM protein heterogeneity analysis show that NUViT consistently captures the structure of Fourier data better than standard architectures.
- Abstract(参考訳): 視覚変換器(ViT)は多くのコンピュータビジョンタスクにおいて強い性能を示してきたが、自然画像領域を超えて自然に拡張するわけではない。
1つの重要な例はフーリエ空間のデータであり、医療画像や顕微鏡など、多種多様なモダリティの集合を表現するために使われる。
標準ViTトークン化は、画像をカルト格子上の正方形パッチに分割するが、これはフーリエ空間データの周波数と位相構造に不適合である。
我々は、画像トークン化、データ表現、位置符号化を再設計し、この構造を尊重する、シンプルで汎用的な視覚変換器であるNon-Uniform ViTを紹介する。
フーリエ領域画像分類, 2次元結晶格子同定, MRIアノテーション, 低温EMタンパク質の不均一性解析による実験により, NUViTは標準アーキテクチャよりも一貫してフーリエデータの構造を捉えていることがわかった。
関連論文リスト
- Exploring Compositionality in Vision Transformers using Wavelet Representations [10.885654303409138]
本研究では、視覚変換器(ViT)エンコーダが構成性のレンズを通して学習した表現について検討する。
本稿では,VTエンコーダの合成性をテストするために,表現学習における構成性の測定に関する先行研究に類似したフレームワークを提案する。
合成表現が元の画像表現を再現する能力を調べることにより、表現空間において構成性が尊重される程度を実証的に検証する。
論文 参考訳(メタデータ) (2025-12-30T19:43:40Z) - From Attention to Frequency: Integration of Vision Transformer and FFT-ReLU for Enhanced Image Deblurring [0.9728664856449597]
本稿では、周波数領域FFT-ReLUモジュールで視覚変換器を統一する新しいデュアルドメインアーキテクチャを提案する。
この構造では、ViTバックボーンはローカルおよびグローバルな依存関係をキャプチャし、FFT-ReLUコンポーネントは、ブラー関連アーティファクトを抑えるために周波数領域の間隔を強制する。
ベンチマークデータセットの実験により、このアーキテクチャは最先端のモデルと比較してPSNR、SSIM、知覚品質が優れていることが示された。
論文 参考訳(メタデータ) (2025-11-13T21:19:57Z) - Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers [49.07665715422702]
時系列を画像に変換するフレームワークであるTime Vision Transformer (TiViT) を提案する。
標準時系列分類ベンチマークにおいて, TiViT が最先端の性能を達成することを示す。
本研究は,非視覚領域における視覚表現の再利用に向けた新たな方向を明らかにするものである。
論文 参考訳(メタデータ) (2025-06-10T09:54:51Z) - Your ViT is Secretly an Image Segmentation Model [50.71238842539735]
Vision Transformer (ViT) は、様々なコンピュータビジョンタスクにおいて、顕著なパフォーマンスとスケーラビリティを示している。
タスク固有のコンポーネントによって導入された帰納バイアスは、代わりにViT自身で学習できることを示す。
画像セグメンテーションを行うためにプレーンな ViT アーキテクチャを再利用した Mask Transformer (EoMT) を導入する。
論文 参考訳(メタデータ) (2025-03-24T19:56:02Z) - Deep Fourier Up-Sampling [100.59885545206744]
フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。
これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
論文 参考訳(メタデータ) (2022-10-11T06:17:31Z) - Discrete Representations Strengthen Vision Transformer Robustness [43.821734467553554]
Vision Transformer (ViT) は、画像認識のための最先端アーキテクチャとして登場しつつある。
本稿では,ベクトル量子化エンコーダによって生成された離散トークンを付加することにより,ViTの入力層に対する簡易かつ効果的なアーキテクチャ変更を提案する。
実験結果から,4つのアーキテクチャ変種に離散表現を追加することで,7つのImageNetロバストネスベンチマークで最大12%のViTロバストネスが向上することが示された。
論文 参考訳(メタデータ) (2021-11-20T01:49:56Z) - Vision Transformer with Progressive Sampling [73.60630716500154]
本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。
ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-08-03T18:04:31Z) - Intriguing Properties of Vision Transformers [114.28522466830374]
視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。
我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。
ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
論文 参考訳(メタデータ) (2021-05-21T17:59:18Z) - Fourier Image Transformer [10.315102237565734]
自動回帰画像補完タスクは,低解像度入力による高分解能出力の予測と同等であることを示した。
CT(Computerd Tomography)画像再構成の文脈において,本手法の有用性を示す。
論文 参考訳(メタデータ) (2021-04-06T14:48:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。