論文の概要: SinBasis Networks: Matrix-Equivalent Feature Extraction for Wave-Like Optical Spectrograms
- arxiv url: http://arxiv.org/abs/2505.06275v2
- Date: Thu, 31 Jul 2025 14:24:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 15:10:45.048485
- Title: SinBasis Networks: Matrix-Equivalent Feature Extraction for Wave-Like Optical Spectrograms
- Title(参考訳): SinBasis Networks: Wave-like Optical Spectrogram のための行列等価特徴抽出
- Authors: Yuzhou Zhu, Zheng Zhang, Ruyi Zhang, Liang Zhou,
- Abstract要約: フラットな入力上での線形変換として、畳み込みと注意を再解釈する統一的行列等価フレームワークを提案する。
これらの変換をCNN、ViT、Capsuleアーキテクチャに埋め込むことで、Sin-Basis Networksは周期的なモチーフに対する感度を高めることができる。
- 参考スコア(独自算出の注目度): 8.37266944852829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wave-like images-from attosecond streaking spectrograms to optical spectra, audio mel-spectrograms and periodic video frames-encode critical harmonic structures that elude conventional feature extractors. We propose a unified, matrix-equivalent framework that reinterprets convolution and attention as linear transforms on flattened inputs, revealing filter weights as basis vectors spanning latent feature subspaces. To infuse spectral priors we apply elementwise $\sin(\cdot)$ mappings to each weight matrix. Embedding these transforms into CNN, ViT and Capsule architectures yields Sin-Basis Networks with heightened sensitivity to periodic motifs and built-in invariance to spatial shifts. Experiments on a diverse collection of wave-like image datasets-including 80,000 synthetic attosecond streaking spectrograms, thousands of Raman, photoluminescence and FTIR spectra, mel-spectrograms from AudioSet and cycle-pattern frames from Kinetics-demonstrate substantial gains in reconstruction accuracy, translational robustness and zero-shot cross-domain transfer. Theoretical analysis via matrix isomorphism and Mercer-kernel truncation quantifies how sinusoidal reparametrization enriches expressivity while preserving stability in data-scarce regimes. Sin-Basis Networks thus offer a lightweight, physics-informed approach to deep learning across all wave-form imaging modalities.
- Abstract(参考訳): アト秒ストリーキングスペクトログラムから光学スペクトル、オーディオ・メル・スペクトログラム、周期ビデオフレームに至るまでのウェーブライクな画像は、従来の特徴抽出器を損なう重要なハーモニック構造をエンコードする。
本稿では,フラット化入力上での線形変換として,畳み込みと注意を解釈し,遅延特徴部分空間にまたがる基底ベクトルとしてフィルタ重みを明らかにする統一的行列等価フレームワークを提案する。
スペクトル事前を注入するために、各重み行列に$\sin(\cdot)$写像を要素的に適用する。
これらの変換をCNN、ViT、Capsuleアーキテクチャに埋め込むことで、Sin-Basis Networksは周期的なモチーフに対する感度を高め、空間シフトに対する不変性を内蔵する。
ラマン、フォトルミネッセンス、FTIRスペクトル、AudioSetのメル・スペクトログラム、Kinetics-demonstrateのサイクル・パターン・フレームを含む、80,000の合成アト秒ストライキング・スペクトログラムを含む様々な波形のような画像データセットの実験は、再構成の精度、翻訳の堅牢性、ゼロショットのクロスドメイン転送においてかなりの利益を上げている。
行列同型およびマーサー・カーネル・トランケーションによる理論的解析は、正弦波再パラメータ化がデータスカース状態の安定性を維持しながら、いかに表現性を高めるかを定量化する。
Sin-Basis Networksは、すべての波状画像モダリティにまたがるディープラーニングに対して、軽量で物理インフォームドなアプローチを提供する。
関連論文リスト
- CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis [75.25966323298003]
スペクトルイメージングは、医療や都市景観の理解など、様々な領域で有望な応用を提供する。
スペクトルカメラのチャネル次元と捕獲波長のばらつきは、AI駆動方式の開発を妨げる。
我々は、$textbfC$amera-$textbfA$gnostic $textbfR$esupervised $textbfL$のモデルである$textbfCARL$を紹介した。
論文 参考訳(メタデータ) (2025-04-27T13:06:40Z) - Spectral Dictionary Learning for Generative Image Modeling [0.0]
画像合成のためのスペクトル生成モデルを提案する。
画像は、一連の学習スペクトル基底関数の線形結合として再構成される。
提案手法は, 再現性, 知覚的忠実度の観点から, 競争性能の向上を図っている。
論文 参考訳(メタデータ) (2025-04-21T01:11:17Z) - Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。
デジタル画像から抽出したスペクトルおよびリズムの特徴を音響的分類に用いることができる。
メルスケール分光図, メル周波数ケプストラム係数 (MFCC) などのスペクトル・リズム特性の異なる表現について検討した。
論文 参考訳(メタデータ) (2024-10-09T14:21:59Z) - Neural Spectral Decomposition for Dataset Distillation [48.59372086450124]
本稿では,データセット蒸留のための一般的な分解フレームワークであるニューラルスペクトル分解を提案する。
本研究の目的は,データセット全体の低ランク表現を発見し,効率的に蒸留を行うことである。
提案手法はCIFAR10, CIFAR100, Tiny Imagenet, ImageNet Subsetなどのベンチマーク上での最先端性能を実現する。
論文 参考訳(メタデータ) (2024-08-29T03:26:14Z) - FCDM: A Physics-Guided Bidirectional Frequency Aware Convolution and Diffusion-Based Model for Sinogram Inpainting [14.043383277622874]
フルビューのシノグラムは高い放射線線量と長いスキャン時間を必要とする。
スパースビューCTは、この負担を軽減するが、構造的な信号損失を伴う不完全なシノグラムを生じる。
本研究では,Ninogram に適した拡散型フレームワークであるmodelnameを提案する。
論文 参考訳(メタデータ) (2024-08-26T12:31:38Z) - A Differential Smoothness-based Compact-Dynamic Graph Convolutional Network for Spatiotemporal Signal Recovery [9.369246678101048]
本稿では、時間的信号回復のためのコンパクト・フォールド・コングラフ・ネットワーク(CDCN)を提案する。
実世界のデータセットの実験では、CDCNは時間的信号回復の最先端モデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-08-06T06:42:53Z) - Spectrum Translation for Refinement of Image Generation (STIG) Based on
Contrastive Learning and Spectral Filter Profile [15.5188527312094]
生成した画像の周波数領域における相違を緩和する枠組みを提案する。
これは、コントラスト学習に基づく画像生成(STIG)の洗練のためのスペクトル変換によって実現される。
我々は,STIGの有効性を実証するために,8つのフェイク画像データセットと様々な最先端モデルにまたがるフレームワークの評価を行った。
論文 参考訳(メタデータ) (2024-03-08T06:39:24Z) - SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance
Field [70.15900280156262]
本稿では,新しいスペクトルの観点から,高品質な物理ベースレンダリングのためのエンドツーエンドニューラルラジアンスフィールド(NeRF)アーキテクチャを提案する。
スペクトルNeRFは、合成データセットと実データセットの新しいビューを合成する際に、最近のNeRFベースの方法よりも優れている。
論文 参考訳(メタデータ) (2023-12-14T07:19:31Z) - HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。
ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。
本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
論文 参考訳(メタデータ) (2023-10-03T17:42:09Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。
我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
論文 参考訳(メタデータ) (2023-07-05T13:39:02Z) - Fast and Robust State Estimation and Tracking via Hierarchical Learning [9.341558827016332]
我々は,大規模ネットワークにおけるコンバージェンスを高速化し,状態推定と追跡のレジリエンスを高めることを目的としている。
我々は,水中音響ネットワークと大規模合成ネットワークのシミュレーション研究を通じて,我々のアルゴリズムを数値的に検証する。
論文 参考訳(メタデータ) (2023-06-29T19:07:17Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳(メタデータ) (2023-04-14T14:03:35Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-10-21T07:25:57Z) - Unsupervised inter-frame motion correction for whole-body dynamic PET
using convolutional long short-term memory in a convolutional neural network [9.349668170221975]
我々は、フレーム間の身体の動きを補正するための教師なしのディープラーニングベースのフレームワークを開発する。
運動推定ネットワークは、畳み込み長短期記憶層を組み合わせた畳み込みニューラルネットワークである。
トレーニング後,提案したネットワークの動作推定時間は,従来の登録ベースラインの約460倍の速度であった。
論文 参考訳(メタデータ) (2022-06-13T17:38:16Z) - Discrete-time Temporal Network Embedding via Implicit Hierarchical
Learning in Hyperbolic Space [43.280123606888395]
双曲幾何学の指数的能力と階層的認識を生かした双曲時間グラフネットワーク(HTGN)を提案する。
HTGNは、時間グラフを双曲空間にマッピングし、双曲グラフニューラルネットワークと双曲ゲートリカレントニューラルネットワークを組み込む。
複数の実世界のデータセットに対する実験結果は、時間グラフ埋め込みにおけるHTGNの優位性を示している。
論文 参考訳(メタデータ) (2021-07-08T11:24:59Z) - SpectralFormer: Rethinking Hyperspectral Image Classification with
Transformers [91.09957836250209]
ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。
CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。
我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
論文 参考訳(メタデータ) (2021-07-07T02:59:21Z) - Spectrally-Encoded Single-Pixel Machine Vision Using Diffractive
Networks [6.610893384480686]
物質3次元工学は、光-物質相互作用によって様々な計算タスクを実行できるシステムを設計するための新たな道を開いた。
本稿では,物体の空間情報を回折光のパワースペクトルに変換・符号化するために,深層学習を用いて学習した多層回折層による光ネットワークの設計を実証する。
我々は,10波長の回折光のスペクトルパワーを検出し,手書き桁の画像を光学的に分類するために,テラヘルツスペクトルでこのマシンビジョンフレームワークを実験的に検証した。
論文 参考訳(メタデータ) (2020-05-15T09:18:21Z) - Residual-Sparse Fuzzy $C$-Means Clustering Incorporating Morphological
Reconstruction and Wavelet frames [146.63177174491082]
Fuzzy $C$-Means (FCM)アルゴリズムは、形態的再構成操作とタイトウェーブレットフレーム変換を組み込んでいる。
特徴集合とその理想値の間の残差に対して$ell_0$正規化項を付与することにより、改良されたFCMアルゴリズムを提案する。
合成, 医用, カラー画像に対する実験結果から, 提案アルゴリズムは効率的かつ効率的であり, 他のアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-02-14T10:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。