論文の概要: Towards Foundation Models: Evaluation of Geoscience Artificial Intelligence with Uncertainty

• arxiv url: http://arxiv.org/abs/2501.14809v1
• Date: Wed, 15 Jan 2025 16:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-02 08:21:45.550684
• Title: Towards Foundation Models: Evaluation of Geoscience Artificial Intelligence with Uncertainty
• Title（参考訳）: 基礎モデルに向けて:不確実性を考慮した地球科学人工知能の評価
• Authors: Samuel Myren, Nidhi Parikh, Rosalyn Rael, Garrison Flynn, Dave Higdon, Emily Casleton,
• Abstract要約: Geoscience Foundation Model(FM)は、ワークフロー内で複数のタスクを達成またはワークフローを完全に置き換えることを約束する。 我々は,パフォーマンスの不確実性,学習効率,重なり合うトレーニングテストデータなどを共同で組み込んだ評価フレームワークを設計する。 我々のフレームワークは,トレーニングデータの様々な予算で,モデルの性能を明示的に分析することによって,実践者が自身の問題に対して最適なモデルを選択し,パフォーマンスの期待値を設定するのに役立ちます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Artificial intelligence (AI) has transformed the geoscience community with deep learning models (DLMs) that are trained to complete specific tasks within workflows. This success has led to the development of geoscience foundation models (FMs), which promise to accomplish multiple tasks within a workflow or replace the workflow altogether. However, lack of robust evaluation frameworks, even for traditional DLMs, leaves the geoscience community ill prepared for the inevitable adoption of FMs. We address this gap by designing an evaluation framework that jointly incorporates three crucial aspects to current DLMs and future FMs: performance uncertainty, learning efficiency, and overlapping training-test data splits. To target the three aspects, we meticulously construct the training, validation, and test splits using clustering methods tailored to geoscience data and enact an expansive training design to segregate performance uncertainty arising from stochastic training processes and random data sampling. The framework's ability to guard against misleading declarations of model superiority is demonstrated through evaluation of PhaseNet, a popular seismic phase picking DLM, under 3 training approaches. Furthermore, we show how the performance gains due to overlapping training-test data can lead to biased FM evaluation. Our framework helps practitioners choose the best model for their problem and set performance expectations by explicitly analyzing model performance at varying budgets of training data.
• Abstract（参考訳）: 人工知能(AI)は、ワークフロー内で特定のタスクを完了させるために訓練されたディープラーニングモデル(DLM)で、地球科学コミュニティを変革した。 この成功は、ワークフロー内で複数のタスクを達成したり、ワークフローを完全に置き換えることを約束する地球科学基礎モデル(FM)の開発につながった。 しかし、従来のDLMでさえ、堅牢な評価フレームワークが欠如しているため、地球科学コミュニティは必然的にFMを採用する準備が整ったままである。 我々は、現在のDLMと将来のFMの3つの重要な側面、すなわちパフォーマンスの不確実性、学習効率、重なり合うトレーニングとテストのデータ分割を共同で組み込んだ評価フレームワークを設計することで、このギャップに対処する。 これら3つの側面を念頭に置いて, 地理データに適したクラスタリング手法を用いて, 学習, 検証, テスト分割を慎重に構築し, 確率的トレーニングプロセスとランダムデータサンプリングから生じるパフォーマンスの不確実性を分離する拡張トレーニング設計を実践する。 モデル優越性の誤解を招く宣言に対するフレームワークの防御能力は,3つのトレーニング手法の下で,一般的な位相選択型DLMであるフェイズネットの評価によって実証される。 さらに,トレーニングテストデータの重複による性能向上がFM評価のバイアスの原因となることを示す。 我々のフレームワークは,トレーニングデータの様々な予算で,モデルの性能を明示的に分析することによって,実践者が自身の問題に対して最適なモデルを選択し,パフォーマンスの期待値を設定するのに役立ちます。

関連論文リスト

• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Refining 3D Point Cloud Normal Estimation via Sample Selection [13.207964615561261]
  我々は,グローバルな情報と様々な制約機構を組み込むことにより,正規推定の基本的枠組みを導入し,既存モデルを拡張した。 また,非オブジェクト指向タスクと非オブジェクト指向タスクの両方における最先端性能を達成し,推定された非オブジェクト指向の正規性を補正するために,既存の配向手法を利用する。
  論文  参考訳（メタデータ） (2024-05-20T02:06:10Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Making Pre-trained Language Models both Task-solvers and Self-calibrators [52.98858650625623]
  プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。 以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。 課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:51:41Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。