論文の概要: Refining embeddings with fill-tuning: data-efficient generalised performance improvements for materials foundation models

• arxiv url: http://arxiv.org/abs/2502.13886v1
• Date: Wed, 19 Feb 2025 17:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:58:48.587025
• Title: Refining embeddings with fill-tuning: data-efficient generalised performance improvements for materials foundation models
• Title（参考訳）: 充填調整による埋込みの精錬:材料基礎モデルにおけるデータ効率の向上
• Authors: Matthew P. Wilson, Edward O. Pyzer-Knapp, Nicolas Galichet, Luke Dicks,
• Abstract要約: フィルチューニング」は基礎モデルの事前トレーニングを継続するためのデータセットを生成する新しい手法である。 我々は、O(109)$データポイントでトレーニングされた一連の最先端の材料基盤モデルにフィリングを適用する。 データポイントを100点加えるだけで、ダウンストリームタスクのほぼ1%のモデル改善を示す。
• 参考スコア（独自算出の注目度）: 0.3374875022248865
• License:
• Abstract: Pretrained foundation models learn embeddings that can be used for a wide range of downstream tasks. These embeddings optimise general performance, and if insufficiently accurate at a specific task the model can be fine-tuned to improve performance. For all current methodologies this operation necessarily degrades performance on all out-of-distribution tasks. In this work we present 'fill-tuning', a novel methodology to generate datasets for continued pretraining of foundation models that are not suited to a particular downstream task, but instead aim to correct poor regions of the embedding. We present the application of roughness analysis to latent space topologies and illustrate how it can be used to propose data that will be most valuable to improving the embedding. We apply fill-tuning to a set of state-of-the-art materials foundation models trained on $O(10^9)$ data points and show model improvement of almost 1% in all downstream tasks with the addition of only 100 data points. This method provides a route to the general improvement of foundation models at the computational cost of fine-tuning.
• Abstract（参考訳）: 事前訓練された基礎モデルは、幅広い下流タスクに使用できる埋め込みを学ぶ。 これらの埋め込みは一般的な性能を最適化し、特定のタスクで不十分に正確であれば、モデルを微調整してパフォーマンスを改善することができる。 現行のすべてのメソッドに対して、この操作は必ずしもすべてのアウト・オブ・ディストリビューションタスクのパフォーマンスを低下させる。 本研究では,特定の下流タスクに適さない基礎モデルの継続事前訓練のためのデータセットを生成する新しい手法である「フィルチューニング」について述べる。 本稿では, 遅延空間トポロジーへの粗さ解析の適用について述べるとともに, 埋め込みの改善に最も有用となるデータを提案する。 我々は、O(10^9)$データポイントで訓練された一連の最先端材料基盤モデルに適用し、100点以上のデータポイントを追加することで、下流のタスクでほぼ1%のモデル改善を示す。 この方法は、微調整の計算コストにおいて基礎モデルの一般的な改善への道筋を提供する。

関連論文リスト

• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Feature Protection For Out-of-distribution Generalization [24.072876186625855]
  事前訓練された特徴の保護は、より厳密に調整されたモデルが一般化に結びつくことを示す。 事前訓練された特徴の保護は,OODの一般化に対してより堅牢な微調整モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-05-25T03:00:06Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• MAIN: Multihead-Attention Imputation Networks [4.427447378048202]
  本稿では,任意のモデルに適用可能なマルチヘッドアテンションに基づく新しいメカニズムを提案する。 提案手法は、下流タスクの性能を向上させるために、入力データの欠落パターンを誘導的にモデル化する。
  論文  参考訳（メタデータ） (2021-02-10T13:50:02Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。