Fugu-MT 論文翻訳(概要): Towards Physics-Guided Foundation Models

論文の概要: Towards Physics-Guided Foundation Models

arxiv url: http://arxiv.org/abs/2502.15013v1
Date: Thu, 20 Feb 2025 20:10:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-24 16:10:44.914378
Title: Towards Physics-Guided Foundation Models
Title（参考訳）: 物理誘導基礎モデルに向けて
Authors: Majid Farhadloo, Arun Sharma, Mingzhou Yang, Bharat Jayaprakash, William Northrop, Shashi Shekhar,
Abstract要約: 物理誘導基礎モデル(PGFM)の表記法を提案する。 PGFMは、幅広いダウンストリームタスクに適用可能な広範囲または一般的な(科学的な)物理知識と統合された基礎モデルである。
参考スコア（独自算出の注目度）: 2.5181915540285855
License:
Abstract: Traditional foundation models are pre-trained on broad datasets to reduce the training resources (e.g., time, energy, labeled samples) needed for fine-tuning a wide range of downstream tasks. However, traditional foundation models struggle with out-of-distribution prediction and can produce outputs that are unrealistic and physically infeasible. We propose the notation of physics-guided foundation models (PGFM), that is, foundation models integrated with broad or general domain (e.g., scientific) physical knowledge applicable to a wide range of downstream tasks.
Abstract（参考訳）: 従来の基礎モデルは、広範囲の下流タスクを微調整するために必要なトレーニングリソース(例えば、時間、エネルギー、ラベル付きサンプル)を減らすために、幅広いデータセットで事前トレーニングされている。しかし、従来の基礎モデルは分配外予測に苦慮し、非現実的で物理的に不可能な出力を生成することができる。物理誘導基礎モデル(PGFM)の表記法,すなわち,広範囲の下流タスクに適用可能な広い分野や一般分野(科学的)の物理知識と統合された基礎モデルを提案する。

関連論文リスト

Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
論文参考訳（メタデータ） (2024-11-05T04:10:59Z)
Heavy-Tailed Diffusion Models [38.713884992630675]
従来の拡散・流れマッチングモデルでは, 重み付き挙動を捉えることができないことを示す。ヘビーテール推定のための拡散フレームワークを再利用することで、この問題に対処する。既存の拡散・流動モデルの拡張である t-EDM と t-Flow を導入する。
論文参考訳（メタデータ） (2024-10-18T04:29:46Z)
Can Kans (re)discover predictive models for Direct-Drive Laser Fusion? [11.261403205522694]
レーザー融合の領域は、機械学習手法のためのユニークで挑戦的な予測モデリングアプリケーションランドスケープを示す。データ駆動型アプローチは、物理学の期待に沿う望ましい一般化能力とモデル解釈を達成するために、過去に成功してきた。本研究では,新しいタイプのデータ駆動予測モデルの開発において,PILの代替としてKAN(Kolmogorov-Arnold Networks)を用いた。
論文参考訳（メタデータ） (2024-09-13T13:48:06Z)
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文参考訳（メタデータ） (2024-06-17T06:20:39Z)
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-12T12:29:32Z)
Learning from models beyond fine-tuning [78.20895343699658]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文参考訳（メタデータ） (2023-10-12T10:20:36Z)
LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models [31.121714473817793]
ファンデーションモデルは、従来のアプローチをはるかに超越した、一般的な人間レベルのインテリジェンスを達成するための優れた能力を示してきた。ほとんどの基礎モデルの重大な欠点は、特殊ドメインやタスク固有のアプリケーションのパフォーマンスにある。本稿では,一般基礎モデルのドメイン・タスク・アウェア・ファインタニングを簡略化することを目的としたLMFlowを紹介する。
論文参考訳（メタデータ） (2023-06-21T17:58:25Z)
Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文参考訳（メタデータ） (2023-04-05T07:28:33Z)
Physics-Guided Deep Learning for Dynamical Systems: A survey [5.733401663293044]
伝統的な物理学に基づくモデルは解釈可能であるが、厳密な仮定に依存している。ディープラーニングは、複雑なパターンを効率的に認識し、非線形力学をエミュレートするための新しい代替手段を提供する。物理学に基づくモデリングと最先端のDLモデルの両方を最大限に活用して、科学的な問題を解決することを目指している。
論文参考訳（メタデータ） (2021-07-02T20:59:03Z)
Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。