論文の概要: XRFormer: Multiscale Tokenization for XRF Representation Learning
- arxiv url: http://arxiv.org/abs/2607.06424v1
- Date: Tue, 07 Jul 2026 15:51:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.579344
- Title: XRFormer: Multiscale Tokenization for XRF Representation Learning
- Title(参考訳): XRFormer: XRF表現学習のためのマルチスケールトークン化
- Abstract要約: X線蛍光分光法(XRF)は、文化遺産における材料分析の鍵となるモダリティである。
XRFスペクトルは、鋭い元素ピーク、より広い構造、背景変化からなる複雑な1次元信号である。
本稿では,マルチスケール畳み込みトークンを用いたXRFスペクトルに適したトランスフォーマーアーキテクチャであるXRFormerを紹介する。
- 参考スコア(独自算出の注目度): 0.688204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: X-ray fluorescence (XRF) spectroscopy is a key modality for material analysis in cultural heritage. However, automated learning from XRF spectra remains challenging: XRF spectra are complex one-dimensional signals composed of sharp elemental peaks, broader structures, and background variations that are not taken into account by existing learning-based models. This paper introduces XRFormer, a transformer architecture tailored to XRF spectra through a multiscale convolutional tokenizer that injects locality and multi-resolution inductive biases before global self-attention. The tokenizer progressively reduces spectral resolution while increasing embedding dimensionality, and the resulting token sequence is processed by a standard transformer encoder. We further investigate self-supervised pretraining for XRF representation learning using Masked Spectral modeling (MSM) and a physics-informed Peak Presence Prediction (PPP) objective. Experiments on the Pigments Checker STANDARD v.5 dataset for pigment identification and unmixing show that XRFormer consistently outperforms ViT, SpectralFormer (with and without CAF), and a 1D-CNN baseline for pigment identification. For pigment unmixing, XRFormer achieves robust abundance estimation while maintaining significantly higher parameter efficiency than SpectralFormer, operating at a lower token resolution (128 vs. 512 tokens) and with less than half the number of parameters (1.5M vs. 3.37M). MSM yields consistent gains across both tasks, while PPP further enhances performance for both identification and unmixing when tuned with an appropriate peak prominence. These results highlight multiscale, modality-aware tokenization as an effective and parameter efficient foundation for transformer-based XRF modeling under data-limited conditions. A GitHub repository is provided at https://github.com/sofiane1010/XRFormer.
- Abstract(参考訳): X線蛍光分光法(XRF)は、文化遺産における材料分析の鍵となるモダリティである。
しかし、XRFスペクトルからの自動学習は依然として困難であり、XRFスペクトルはシャープな元素ピーク、より広い構造、既存の学習ベースモデルでは考慮されていない背景変化からなる複雑な1次元信号である。
本稿では,XRFスペクトルに適合するトランスフォーマーアーキテクチャであるXRFormerを紹介する。
トークン化器は、埋め込み次元を増大させながらスペクトル分解能を段階的に低減し、結果として生じるトークンシーケンスを標準変換器エンコーダで処理する。
さらに,マスク付きスペクトルモデリング(MSM)と物理インフォームドピーク存在予測(PPP)の目的を用いた,XRF表現学習のための自己教師付き事前学習について検討した。
Pigments Checker STANDARD v.5データセットによる顔料の識別と未混合に関する実験では、XRFormerはViT、SpectralFormer(CAFの有無に関わらず)、顔料の識別のための1D-CNNベースラインを一貫して上回っている。
XRFormerは、顔料のアンミックスに対して、SpectralFormerよりもはるかに高いパラメータ効率を維持しつつ、より低いトークン解像度(128対512トークン)で動作し、パラメータの数が半分未満(1.5M対337M)で堅牢な存在量の推定を実現している。
MSMは両方のタスクで一貫した利得を得るが、PPPは適切なピークプロミネンスをチューニングした場合、識別とアンミックスの両方のパフォーマンスをさらに向上する。
これらの結果から,データ制限条件下でのトランスフォーマーに基づくXRFモデリングにおいて,マルチスケールでモダリティを考慮したトークン化が有効かつパラメータ効率のよい基礎として注目されている。
GitHubリポジトリはhttps://github.com/sofiane1010/XRFormerにある。
関連論文リスト
- Spectral Model eXplainer: a chemically-grounded explainability framework for spectral-based machine learning models [0.6487259764989486]
本研究では、スペクトル分類器をエキスパートインフォームドスペクトルゾーンで説明する、ポストホックでグローバルなモデルに依存しないXAIフレームワークであるスペクトルモデルeXplainer(SMX)を紹介する。
SMXはPCAを介して各ゾーンを要約し、量子ベースの論理述語を定義し、摂動による関係を推定し、有向重み付きグラフでバッグワイズランキングを集計する。
論文 参考訳(メタデータ) (2026-05-04T15:01:04Z) - FRIGID: Scaling Diffusion-Based Molecular Generation from Mass Spectra at Training and Inference Time [52.735012862324766]
本稿では,質量スペクトルに条件付き構造を生成する新しい拡散言語モデルを用いたフレームワークFRIGIDを提案する。
スペクトル非一貫性フラグメントを同定することにより、前方フラグメンテーションモデルが推論時間スケーリングを実現する方法を示す。
さらなる実証分析により、FRIGIDは推論時間の増大を伴う対数線形性能のスケーリングを示すことが示された。
論文 参考訳(メタデータ) (2026-04-17T19:11:18Z) - XANE(3): An E(3)-Equivariant Graph Neural Network for Accurate Prediction of XANES Spectra from Atomic Structures [5.177624503826816]
XANE(3)は、原子構造から直接X線吸収近接端構造(XANES)を予測するための物理ベースのE(3)等変グラフニューラルネットワークである。
酸化鉄表面面の5,941FDMNESシミュレーションのデータセット上でモデルを評価し,テストセット上でのスペクトル平均2乗誤差を1.0×10-3$とした。
論文 参考訳(メタデータ) (2026-04-13T23:42:14Z) - Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳(メタデータ) (2026-02-07T20:00:49Z) - Spectral Bias Mitigation via xLSTM-PINN: Memory-Gated Representation Refinement for Physics-Informed Learning [6.546212906401042]
我々は、スペクトルバイアスを抑制し、外挿を強化するために、表現レベルのスペクトルリモデリングxLSTM-PINNを導入する。
4つのベンチマークで、ゲート型クロススケールメモリ、ステージ付き周波数カリキュラム、適応型残差再重み付けを統合した。
ベースラインPINNと比較して、MSE、RMSE、MAE、MaxAEを4つのベンチマークで削減し、よりクリーンな境界遷移を提供する。
論文 参考訳(メタデータ) (2025-11-16T08:55:27Z) - SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models [27.717648142854696]
SpectralXは、既存のRSFMをバックボーンとして適応する革新的なパラメータ効率の微調整フレームワークである。
AoMoA (Attribute-oriented Mixture of Adapter) を開発した。
低レベルのセマンティックな特徴を高レベルの表現で反復的にクエリすることで、モデルはタスク便益属性にフォーカスすることを学ぶ。
論文 参考訳(メタデータ) (2025-08-03T12:14:38Z) - SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。
本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。
実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-05-02T04:06:39Z) - How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings [106.3726679697804]
フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)の2つの手法を比較した。
MPEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。
我々は,MPEが学習可能な埋め込みではなく,グリッド構造を通じてネットワークの性能を向上させることを証明した。
論文 参考訳(メタデータ) (2025-04-18T02:18:08Z) - Towards virtual painting recolouring using Vision Transformer on X-Ray Fluorescence datacubes [80.32085982862151]
画像アートにおけるX線蛍光(XRF)分析の生データを用いて仮想絵画再構成を行うパイプラインを定義する。
データセットサイズを小さくするために、XRFスペクトルのデータベースから始まる合成データセットを生成する。
我々は、XRFスペクトルを低次元K平均対応計量空間に埋め込むための深部変分埋め込みネットワークを定義する。
論文 参考訳(メタデータ) (2024-10-11T14:05:28Z) - SpectralFormer: Rethinking Hyperspectral Image Classification with
Transformers [91.09957836250209]
ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。
CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。
我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
論文 参考訳(メタデータ) (2021-07-07T02:59:21Z) - Identification of complex mixtures for Raman spectroscopy using a novel
scheme based on a new multi-label deep neural network [0.0]
本稿では,定数ウェーブレット変換(CWT)と複雑な混合物を分類するためのディープネットワークに基づく新しいスキームを提案する。
次に、多ラベルディープニューラルネットワークモデル(MDNN)を材料分類に適用する。
本モデルから得られた平均検出時間は5.31秒であり,従来提案したモデルよりもはるかに高速である。
論文 参考訳(メタデータ) (2020-10-29T14:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。