論文の概要: Transformer-Powered Surrogates Close the ICF Simulation-Experiment Gap with Extremely Limited Data

• arxiv url: http://arxiv.org/abs/2312.03642v1
• Date: Wed, 6 Dec 2023 17:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 13:57:02.150927
• Title: Transformer-Powered Surrogates Close the ICF Simulation-Experiment Gap with Extremely Limited Data
• Title（参考訳）: 超限定データを用いたICFシミュレーション実験ギャップを閉鎖する変圧器駆動サロゲート
• Authors: Matthew L. Olson, Shusen Liu, Jayaraman J. Thiagarajan, Bogdan Kustowski, Weng-Keen Wong, Rushil Anirudh
• Abstract要約: 本稿では,マルチモーダル出力シナリオにおける予測精度向上のためのトランスフォーマーを用いた新しい手法を提案する。 提案手法はトランスフォーマーアーキテクチャと新しいグラフベースのハイパーパラメータ最適化手法を統合する。 実世界のデータ10枚しか入手できない慣性閉じ込め核融合実験へのアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 25.68565158407285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in machine learning, specifically transformer architecture, have led to significant advancements in commercial domains. These powerful models have demonstrated superior capability to learn complex relationships and often generalize better to new data and problems. This paper presents a novel transformer-powered approach for enhancing prediction accuracy in multi-modal output scenarios, where sparse experimental data is supplemented with simulation data. The proposed approach integrates transformer-based architecture with a novel graph-based hyper-parameter optimization technique. The resulting system not only effectively reduces simulation bias, but also achieves superior prediction accuracy compared to the prior method. We demonstrate the efficacy of our approach on inertial confinement fusion experiments, where only 10 shots of real-world data are available, as well as synthetic versions of these experiments.
• Abstract（参考訳）: 最近の機械学習、特にトランスフォーマーアーキテクチャの進歩は、商用ドメインの大幅な進歩をもたらした。 これらの強力なモデルは複雑な関係を学習する優れた能力を示しており、しばしば新しいデータや問題に対してより一般化している。 本稿では,シミュレーションデータでスパース実験データを補足するマルチモーダル出力シナリオにおいて,予測精度を向上させるためのトランスフォーマーを用いた新しい手法を提案する。 提案手法はトランスフォーマーアーキテクチャと新しいグラフベースハイパーパラメータ最適化手法を統合する。 その結果,シミュレーションバイアスを効果的に低減するだけでなく,従来の手法と比較して予測精度も向上する。 実世界のデータ10枚と,これらの実験の合成版が利用可能である慣性閉じ込め核融合実験に対する我々のアプローチの有効性を実証する。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Simulation-Enhanced Data Augmentation for Machine Learning Pathloss Prediction [9.664420734674088]
  本稿では,機械学習パスロス予測のための新しいシミュレーション強化データ拡張手法を提案する。 本手法は,細胞被覆シミュレータから生成した合成データと,独立して収集した実世界のデータセットを統合する。 合成データの統合は、異なる環境におけるモデルの一般化可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-02-03T00:38:08Z)
• Enhancing Multi-Objective Optimization through Machine Learning-Supported Multiphysics Simulation [1.6685829157403116]
  本稿では,訓練,自己最適化,自己組織的代理モデルのための方法論的枠組みを提案する。 シュロゲートモデルを比較的少量のデータで訓練し、基礎となるシミュレーションを正確に近似できることを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:52:50Z)
• Leveraging the Power of Data Augmentation for Transformer-based Tracking [64.46371987827312]
  トラッキング用にカスタマイズされた2つのデータ拡張手法を提案する。 まず、動的探索半径機構と境界サンプルのシミュレーションにより、既存のランダムトリミングを最適化する。 第2に,背景干渉などの問題に対するモデルを可能にする,トークンレベルの機能混在強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:18:54Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Transfer learning driven design optimization for inertial confinement fusion [0.0]
  伝達学習は、シミュレーションと実験データを共通のフレームワークに組み込む予測モデルを作成するための有望なアプローチである。 従来のモデルキャリブレーション手法よりも設計を最適化する方が効率的であることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:38:57Z)
• Transfer learning suppresses simulation bias in predictive models built from sparse, multi-modal data [15.587831925516957]
  科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。 堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。 ディープラーニングの最近の開発を組み合わせて、マルチモーダルデータからより堅牢な予測モデルを構築します。
  論文  参考訳（メタデータ） (2021-04-19T23:28:32Z)
• Cognitive simulation models for inertial confinement fusion: Combining simulation and experimental data [0.0]
  研究者は、高性能な爆発を求めて設計空間を探索するためにコンピュータシミュレーションに大きく依存しています。 より効果的な設計と調査のために、シミュレーションは過去の実験データからの入力を必要とする。 本稿では,シミュレーションと実験データを共通の予測モデルに組み合わせた認知シミュレーション手法について述べる。
  論文  参考訳（メタデータ） (2021-03-19T02:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。