論文の概要: Intelligent Sampling of Extreme-Scale Turbulence Datasets for Accurate and Efficient Spatiotemporal Model Training

• arxiv url: http://arxiv.org/abs/2508.03872v1
• Date: Tue, 05 Aug 2025 19:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.432064
• Title: Intelligent Sampling of Extreme-Scale Turbulence Datasets for Accurate and Efficient Spatiotemporal Model Training
• Title（参考訳）: 高精度かつ効率的な時空間モデルトレーニングのための極大乱流データセットのインテリジェントサンプリング
• Authors: Wesley Brewer, Murali Meena Gopalakrishnan, Matthias Maiterth, Aditya Kashi, Jong Youl Choi, Pei Zhang, Stephen Nichols, Riccardo Balin, Miles Couchman, Stephen de Bruyn Kops, P. K. Yeung, Daniel Dotson, Rohini Uma-Vaideswaran, Sarp Oral, Feiyi Wang,
• Abstract要約: 能率学習のためのスパース知的キュレーションフレームワークであるSICKLEを開発した。 予備処理ステップとしてのサブサンプリングにより,モデル精度が向上し,エネルギー消費が大幅に低減できることを示す。
• 参考スコア（独自算出の注目度）: 2.6431310425631307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the end of Moore's law and Dennard scaling, efficient training increasingly requires rethinking data volume. Can we train better models with significantly less data via intelligent subsampling? To explore this, we develop SICKLE, a sparse intelligent curation framework for efficient learning, featuring a novel maximum entropy (MaxEnt) sampling approach, scalable training, and energy benchmarking. We compare MaxEnt with random and phase-space sampling on large direct numerical simulation (DNS) datasets of turbulence. Evaluating SICKLE at scale on Frontier, we show that subsampling as a preprocessing step can improve model accuracy and substantially lower energy consumption, with reductions of up to 38x observed in certain cases.
• Abstract（参考訳）: ムーアの法則とデナードのスケーリングが終わると、効率的なトレーニングはデータ量を再考する必要がある。 インテリジェントなサブサンプリングによって、はるかに少ないデータでよりよいモデルをトレーニングできますか? そこで本研究では,新しい最大エントロピー(MaxEnt)サンプリング手法,スケーラブルなトレーニング,エネルギーベンチマークを特徴とする,効率的な学習のためのスパースインテリジェントキュレーションフレームワークであるSICKLEを開発した。 乱流のDNS(直接数値シミュレーション)データセットにおいて,MaxEntとランダムおよび位相空間サンプリングを比較した。 SICKLEをFrontier上で大規模に評価することにより,前処理ステップとしてのサブサンプリングがモデル精度を向上し,エネルギー消費を大幅に低減し,特定のケースで最大38倍の削減を達成できることを示す。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Optimizing ML Training with Metagradient Descent [69.89631748402377]
  モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。 次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-17T22:18:24Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Adaptive Data Exploitation in Deep Reinforcement Learning [50.53705050673944]
  深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
  論文  参考訳（メタデータ） (2025-01-22T04:01:17Z)
• Comparison of Generative Learning Methods for Turbulence Modeling [1.2499537119440245]
  直接数値シミュレーション (DNS) や大渦シミュレーション (LES) のような高解像度の手法は一般に計算に手頃な価格ではない。 機械学習、特に生成確率モデルにおける最近の進歩は、乱流モデリングのための有望な代替手段を提供する。 本稿では, 変分オートエンコーダ(VAE), ディープ・コンバーサナル・ジェネレータ・ネットワーク(DCGAN), 拡散確率モデル(DDPM)の3つの生成モデルの適用について検討する。
  論文  参考訳（メタデータ） (2024-11-25T14:20:53Z)
• Warmstarting for Scaling Language Models [47.691182347349894]
  モデルのサイズを拡大してパフォーマンスをスケールすることは、現在の大規模言語モデルパラダイムにとって非常にうまく機能しています。 現代の規模のデータとモデルに対する高いトレーニングコストは、そのようなトレーニング設定のチューニング方法と到着方法の理解の欠如をもたらす。 大型モデルの事前訓練のコストを改善する1つの方法は、より安価にチューニングできる小型モデルから大規模なトレーニングをウォームスタートさせることである。
  論文  参考訳（メタデータ） (2024-11-11T20:02:29Z)
• Efficient NeRF Optimization -- Not All Samples Remain Equally Hard [9.404889815088161]
  ニューラルレイディアンスフィールド(NeRF)の効率的なトレーニングのためのオンラインハードサンプルマイニングの応用を提案する。 NeRFモデルは、多くの3D再構成およびレンダリングタスクに対して最先端の品質を生み出すが、かなりの計算資源を必要とする。
  論文  参考訳（メタデータ） (2024-08-06T13:49:01Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Applying Physics-Informed Enhanced Super-Resolution Generative Adversarial Networks to Turbulent Premixed Combustion and Engine-like Flame Kernel Direct Numerical Simulation Data [0.0]
  この研究は、最近開発されたPIESRGANによる乱流予混合燃焼のモデリング手法を推し進めている。 その結果, 全乱流予混合火炎核の直接数値シミュレーションデータに対して, 先行実験と後続試験に良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-10-28T15:27:46Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization without Compounding Errors [10.906666680425754]
  我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。 複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
  論文  参考訳（メタデータ） (2020-06-08T21:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。