論文の概要: Beyond Foundation Models: Dimension-Aware Neural Architecture Search with Small-Data Representation Models for Cryocooler Lifetime Prediction

• arxiv url: http://arxiv.org/abs/2608.06993v1
• Date: Fri, 07 Aug 2026 09:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.440479
• Title: Beyond Foundation Models: Dimension-Aware Neural Architecture Search with Small-Data Representation Models for Cryocooler Lifetime Prediction
• Title（参考訳）: 基礎モデルを超えて:クライオクーラー寿命予測のための小さなデータ表現モデルを用いた次元認識型ニューラルネットワーク探索
• Abstract要約: FSD-RM(Family of Small-Data Representation Models)パラダイムを,ドメイン固有テレメトリの実用的な代替として提案する。 確立したエンコーダアーキテクチャを用いたキャパシティ制御表現学習に着目した。 冷凍機テレメトリー実験により,提案手法が競合予測性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 3.40327344752292
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large-scale pretrained time-series models achieve strong results through large-scale pretraining and task-agnostic representation learning, but they rely on abundant, diverse data that industrial and scientific domains often lack. We therefore propose the FSD-RM (Family of Small-Data Representation Models) paradigm as a practical alternative for limited, domain-specific telemetry. Rather than relying on large-scale pretraining, we focus on capacity-controlled representation learning using established encoder architectures (CNN1D, LSTM, GRU, Transformer), selected for their suitability in small-data settings and interpretability. These encoders are trained unsupervised on multivariate telemetry data and integrated into a two-stage pipeline for downstream lifetime prediction. To systematically examine architectural trade-offs under data constraints, we employ \textbf{dimension-aware neural architecture search (NAS)} to jointly optimize model capacity and input dimensionality. Experiments on cryocooler telemetry show that the proposed approach achieves competitive predictive performance while reducing training cost and model complexity. The contribution lies in combining established representation learning techniques within a coherent, NAS-driven framework tailored to small-data regimes, with explicitly defined parameter settings and design choices. The results indicate that effective representation learning can be achieved without large-scale pretraining when appropriate inductive bias and capacity control are applied.
• Abstract（参考訳）: 大規模事前訓練型時系列モデルは、大規模事前訓練とタスク非依存表現学習を通じて強力な結果を得るが、産業や科学の領域でしばしば欠落する豊富な多種多様なデータに依存している。 そこで本研究では,FSD-RM(Family of Small-Data Representation Models)パラダイムを提案する。 大規模な事前学習に頼るのではなく、我々は、確立されたエンコーダアーキテクチャ(CNN1D, LSTM, GRU, Transformer)を用いて、キャパシティ制御された表現学習に焦点をあてる。 これらのエンコーダは、多変量テレメトリデータに基づいて教師なしの訓練を受け、下流寿命予測のために2段階のパイプラインに統合される。 データ制約下でのアーキテクチャトレードオフを体系的に検討するために、モデルキャパシティと入力次元を協調的に最適化するために、 \textbf{dimension-aware Neural Architecture Search (NAS) を用いる。 冷凍機テレメトリの実験から,提案手法はトレーニングコストとモデルの複雑さを低減しつつ,競争力のある予測性能を実現することが示された。 このコントリビューションは、厳密なNAS駆動のフレームワーク内で確立された表現学習技術と、明確に定義されたパラメータ設定と設計選択とを組み合わせることにある。 その結果,適切な帰納バイアスとキャパシティ制御を適用した場合,大規模な事前学習を行なわずに効果的な表現学習が達成できることが示唆された。

関連論文リスト

• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization [7.8639568562295965]
  我々は、企業が同時に多くの運用上の決定をしなければならない、小規模で大規模な意思決定問題を考える。 本稿では,この課題に対処するために,設計したトランスフォーマーモデル上に構築したプレトレイン-then-finetuneアプローチを提案する。
  論文  参考訳（メタデータ） (2026-02-03T16:08:33Z)
• Scaling Remote Sensing Foundation Models: Data Domain Tradeoffs at the Peta-Scale [0.0]
  我々は,人工知能のスケーリング行動を探究し,高解像度のEOデータセット上で基礎モデルをトレーニングするための技術を確立する。 この規模であっても、パフォーマンスはデータ制限されたレシエーションと一致している、と私たちは見ています。 これらの実践的な洞察は、データ収集戦略、計算予算、最適化スケジュールを知らせることを目的としている。
  論文  参考訳（メタデータ） (2025-12-29T23:53:11Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• PMNO: A novel physics guided multi-step neural operator predictor for partial differential equations [23.04840527974364]
  本稿では,複雑な物理系の長期予測における課題に対処する物理誘導多段階ニューラル演算子(PMNO)アーキテクチャを提案する。 PMNOフレームワークは、シングルステップ入力をフォワードパス内の複数ステップの履歴データに置き換え、バックプロパゲーション中に暗黙のタイムステッピングスキームを導入する。 様々な物理系におけるPMNO予測器の優れた予測性能を示す。
  論文  参考訳（メタデータ） (2025-06-02T12:33:50Z)
• Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
  本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。 ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。 微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T04:21:53Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Stochastic Configuration Machines for Industrial Artificial Intelligence [4.57421617811378]
  産業人工知能(IAI)におけるコンフィグレーションネットワーク(SCN)の役割 本稿では、効率的なモデリングとデータサイズ削減を強調するために、SCMと呼ばれる新しいランダム化学習モデルを提案する。 いくつかのベンチマークデータセットと3つの産業応用に関する実験的研究が行われている。
  論文  参考訳（メタデータ） (2023-08-25T05:52:41Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。