論文の概要: Knowledge-Guided Masked Autoencoder with Linear Spectral Mixing and Spectral-Angle-Aware Reconstruction

• arxiv url: http://arxiv.org/abs/2512.12445v1
• Date: Sat, 13 Dec 2025 19:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.264747
• Title: Knowledge-Guided Masked Autoencoder with Linear Spectral Mixing and Spectral-Angle-Aware Reconstruction
• Title（参考訳）: 線形スペクトル混合とスペクトル-角度-認識再構成を併用した知識誘導型マスク付きオートエンコーダ
• Authors: Abdul Matin, Rupasree Dey, Tanjim Bin Faruk, Shrideep Pallickara, Sangmi Lee Pallickara,
• Abstract要約: 本稿では,知識誘導型ViTベースのMasked Autoencoderを提案する。 実験結果から,提案モデルにより再現性が大きく向上し,下流タスク性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 4.925967492198013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating domain knowledge into deep learning has emerged as a promising direction for improving model interpretability, generalization, and data efficiency. In this work, we present a novel knowledge-guided ViT-based Masked Autoencoder that embeds scientific domain knowledge within the self-supervised reconstruction process. Instead of relying solely on data-driven optimization, our proposed approach incorporates the Linear Spectral Mixing Model (LSMM) as a physical constraint and physically-based Spectral Angle Mapper (SAM), ensuring that learned representations adhere to known structural relationships between observed signals and their latent components. The framework jointly optimizes LSMM and SAM loss with a conventional Huber loss objective, promoting both numerical accuracy and geometric consistency in the feature space. This knowledge-guided design enhances reconstruction fidelity, stabilizes training under limited supervision, and yields interpretable latent representations grounded in physical principles. The experimental findings indicate that the proposed model substantially enhances reconstruction quality and improves downstream task performance, highlighting the promise of embedding physics-informed inductive biases within transformer-based self-supervised learning.
• Abstract（参考訳）: ドメイン知識をディープラーニングに統合することは、モデルの解釈可能性、一般化、データ効率を改善するための有望な方向として現れています。 本研究では,知識誘導型ViTベースのMasked Autoencoderを提案する。 提案手法は,データ駆動最適化にのみ依存するのではなく,線形スペクトル混合モデル(LSMM)を物理的制約と物理的にベースとしたスペクトルアングルマップ(SAM)に組み込むことで,学習された表現が観測信号とその潜在成分間の既知の構造的関係に従属することを保証する。 このフレームワークは、従来のハマー損失目標とLSMMとSAM損失を併用して最適化し、特徴空間における数値的精度と幾何的整合性を促進する。 この知識誘導設計は、再建の忠実性を高め、限られた監督の下で訓練を安定化させ、物理的原理に基づく解釈可能な潜伏表現をもたらす。 実験結果から,提案モデルは再構成品質を大幅に向上し,下流タスク性能を向上し,トランスフォーマーによる自己教師型学習に物理インフォームドインダクティブバイアスを組み込むという可能性を強調した。

関連論文リスト

• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• TopoSizing: An LLM-aided Framework of Topology-based Understanding and Sizing for AMS Circuits [7.615431299673158]
  従来のブラックボックス最適化はサンプリング効率を実現するが、回路理解に欠ける。 提案するTopoSizeは、生のネットリストから直接、堅牢な回路理解を行うエンドツーエンドフレームワークである。
  論文  参考訳（メタデータ） (2025-09-17T16:52:46Z)
• On Linear Mode Connectivity of Mixture-of-Experts Architectures [1.6747713135100666]
  ニューラルネットワークにおける線形モード接続(LMC)現象について検討する。 LMCは、ニューラルネットワークのロスランドスケープにおいて顕著な現象であり、独立に訓練されたモデルが、アルゴリズムの様々な対称性まで接続されることになっている。
  論文  参考訳（メタデータ） (2025-09-14T16:51:41Z)
• AIMatDesign: Knowledge-Augmented Reinforcement Learning for Inverse Materials Design under Data Scarcity [5.660883851948541]
  AIMatDesignは、逆設計手法のための強化学習フレームワークである。 信頼されたエクスペリエンスプールを構築し、モデルの収束を加速します。 発見効率、収束速度、成功率において、従来の機械学習および強化学習手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-17T08:17:44Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Structural Entropy Guided Agent for Detecting and Repairing Knowledge Deficiencies in LLMs [11.724887822269528]
  大規模言語モデル(LLM)は、膨大な事前学習コーパスを活用することで、前例のない性能を達成した。 彼らの業績は、医学や科学研究のような知識集約的な領域において、依然として最適以下である。 本稿では,LLMの内在的知識不足に対処する構造エントロピー誘導型知識ナビゲータ(SENATOR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-12T02:21:36Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
  本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。 我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
  論文  参考訳（メタデータ） (2020-04-02T20:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。