論文の概要: Re-Simulation-based Self-Supervised Learning for Pre-Training Foundation Models

• arxiv url: http://arxiv.org/abs/2403.07066v2
• Date: Tue, 25 Feb 2025 00:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 17:42:44.033535
• Title: Re-Simulation-based Self-Supervised Learning for Pre-Training Foundation Models
• Title（参考訳）: プレトレーニング基礎モデルのための再シミュレーションに基づく自己教師付き学習
• Authors: Philip Harris, Michael Kagan, Jeffrey Krupa, Benedikt Maier, Nathaniel Woodward,
• Abstract要約: 自己監視学習(SSL)は、現代の大規模機械学習モデルのトレーニングの中核にある。 シミュレーションに基づく新しいSSL戦略であるRS3L(Re-simulation-based self-supervised representation learning)を提案する。 本稿では、RS3L事前学習が、様々な物体の識別や不確実性軽減といった下流タスクにおいて、強力な性能を実現する方法を示す。
• 参考スコア（独自算出の注目度）: 1.1468680421853177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Supervised Learning (SSL) is at the core of training modern large machine learning models, providing a scheme for learning powerful representations that can be used in a variety of downstream tasks. However, SSL strategies must be adapted to the type of training data and downstream tasks required. We propose RS3L ("Re-simulation-based self-supervised representation learning"), a novel simulation-based SSL strategy that employs a method of re-simulation to drive data augmentation for contrastive learning in the physical sciences, particularly, in fields that rely on stochastic simulators. By intervening in the middle of the simulation process and re-running simulation components downstream of the intervention, we generate multiple realizations of an event, thus producing a set of augmentations covering all physics-driven variations available in the simulator. Using experiments from high-energy physics, we explore how this strategy may enable the development of a foundation model; we show how RS3L pre-training enables powerful performance in downstream tasks such as discrimination of a variety of objects and uncertainty mitigation. In addition to our results, we make the RS3L dataset publicly available for further studies on how to improve SSL strategies.
• Abstract（参考訳）: 自己監視学習(SSL)は、現代の大規模機械学習モデルのトレーニングの中核であり、さまざまな下流タスクで使用できる強力な表現を学習するためのスキームを提供する。 しかしSSL戦略は、必要なトレーニングデータや下流タスクの種類に適応する必要がある。 本稿では,物理科学,特に確率的シミュレータに依存する分野において,データ拡張に再シミュレーションの手法を用いる新しいシミュレーションベースのSSL戦略であるRS3Lを提案する。 シミュレーションプロセスの途中に介入し、介入の下流でシミュレーションコンポーネントを再実行することにより、イベントの多重実現を生成し、シミュレータで利用可能なすべての物理駆動の変動をカバーする一連の拡張を生成する。 本研究では、高エネルギー物理実験を用いて、この戦略が基礎モデルの開発を可能にする可能性について検討し、RS3L事前学習が、様々な物体の識別や不確実性軽減といった下流タスクにおいて、強力な性能を実現する方法を示す。 結果に加えて、SSL戦略を改善するためのさらなる研究のために、RS3Lデータセットを公開しています。

関連論文リスト

• NeuralCFD: Deep Learning on High-Fidelity Automotive Aerodynamics Simulations [11.849142587216903]
  ニューラルネットワークベースのシミュレーションサロゲートが業界規模で実装される前に、大きな課題が克服されなければならない。 我々は幾何学的エンコーディングと物理予測を分離した幾何学保存ユニバーサル物理変換器(GP-UPT)を紹介する。 GP-UPTは、高品質なシミュレーションメッシュの作成を回避し、2000万のメッシュセルで正確な3次元速度場予測を可能にし、低忠実度から高忠実度シミュレーションデータセットへの変換学習を効率化する。
  論文  参考訳（メタデータ） (2025-02-13T17:58:07Z)
• Transfer learning in Scalable Graph Neural Network for Improved Physical Simulation [37.1565271299621]
  本稿では,グラフネットワークシミュレータのための事前学習・転送学習パラダイムを提案する。 提案手法により,少量のトレーニングデータを微調整した場合に,モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T08:18:23Z)
• Can LLMs Reliably Simulate Human Learner Actions? A Simulation Authoring Framework for Open-Ended Learning Environments [1.4999444543328293]
  学習者の行動のシミュレーションは、ストレステストのオープンエンドな対話型学習環境を支援し、デプロイ前に新しい適応のプロトタイプを作成する。 我々は,学習者行動に関する検証可能な仮説を組み合わせることで,専門家がシミュレーションを開発し,評価できるシミュレーションオーサリングフレームワークHyp-Mixを提案する。
  論文  参考訳（メタデータ） (2024-10-03T00:25:40Z)
• Feasibility Study on Active Learning of Smart Surrogates for Scientific Simulations [4.368891765870579]
  深層ニューラルネットワーク(DNN)のサロゲートトレーニングにアクティブラーニングを組み込むことの可能性を検討する。 これにより、インテリジェントで客観的なトレーニングシミュレーションの選択が可能になり、広範なシミュレーションデータを生成する必要がなくなる。 その結果、スマートサロゲートのための高性能コンピューティング基盤の開発の基礎となった。
  論文  参考訳（メタデータ） (2024-07-10T14:00:20Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Bridging the Sim-to-Real Gap with Bayesian Inference [53.61496586090384]
  データからロボットダイナミクスを学習するためのSIM-FSVGDを提案する。 我々は、ニューラルネットワークモデルのトレーニングを規則化するために、低忠実度物理プリエンスを使用します。 高性能RCレースカーシステムにおけるSIM-to-realギャップのブリッジ化におけるSIM-FSVGDの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-25T11:29:32Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
  完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。 我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-05-01T23:20:27Z)
• Decision-Focused Model-based Reinforcement Learning for Reward Transfer [27.899494428456048]
  本稿では,報酬関数の変化に頑健でありながら高いリターンを達成する遷移モデルを学習する,新しいロバストな決定中心(RDF)アルゴリズムを提案する。 我々は、様々なシミュレーターと実際の患者データに基づいて、RDFがパーソナライズされたポリシーを計画するのに使えるシンプルで効果的なモデルを学ぶことができるという理論的および実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-04-06T20:47:09Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Interpretable AI-based Large-scale 3D Pathloss Prediction Model for enabling Emerging Self-Driving Networks [3.710841042000923]
  本稿では,新しい鍵予測器を応用した機械学習モデルを提案する。 予測,一般化,計算性能の観点から各種MLアルゴリズムの性能を定量的に評価することにより,光グラディエントブースティングマシン(LightGBM)アルゴリズムが全体として他のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-30T19:50:16Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。