論文の概要: Out-of-the-Box Tabular Foundation Models for Bayesian Optimization in Materials Discovery
- arxiv url: http://arxiv.org/abs/2611.12491v2
- Date: Wed, 11 Nov 2026 16:08:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.890159
- Title: Out-of-the-Box Tabular Foundation Models for Bayesian Optimization in Materials Discovery
- Title(参考訳): 材料発見におけるベイズ最適化のためのアウト・オブ・ザ・ボックス・タブラル基礎モデル
- Abstract要約: タブラル基礎モデル(TFMs)は構造化データの予測タスクの最先端として登場した。
我々は,TabPFNとTabICLの2つの標準材料科学ベンチマークにおいて,箱外サロゲートモデルとして評価した。
- 参考スコア(独自算出の注目度): 38.16354436889949
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimization is widely used in active learning loops for materials science. Gaussian processes serve as the de-facto surrogate model family, but require task-dependent kernel choices and can lack the modeling capacity for complex relationships. Tabular foundation models (TFMs) have recently emerged as the state-of-the-art for predictive tasks on structured data, without requiring bespoke kernels or hyperparameter tuning. We evaluate two TFMs, TabPFN and TabICL, as out-of-the-box surrogate models on two standard materials science benchmarks, comparing against a large field of baselines encompassing Gaussian processes, random forests, and CatBoost. Our findings indicate that TFMs are highly competitive surrogate models across the two benchmarks, without task-specific training for active learning or GP kernel selection. Our results motivate developing TFMs further as surrogates for active learning in materials discovery.
- Abstract(参考訳): ベイズ最適化は、材料科学の活発な学習ループに広く用いられている。
ガウス過程はデファクトサロゲートモデルファミリとして機能するが、タスク依存のカーネル選択が必要であり、複雑な関係のモデリング能力に欠ける。
タブラル基礎モデル (TFMs) は、最近、構造データ上の予測タスクの最先端として出現し、ベスポークカーネルやハイパーパラメータチューニングを必要としない。
本研究では,TabPFNとTabICLという2つのTFMを,ガウス過程,ランダム森林,およびCatBoostを含むベースラインの広い領域と比較し,標準材料科学ベンチマークのアウト・オブ・ボックスサロゲートモデルとして評価する。
その結果, TFMは2つのベンチマークにおいて, アクティブラーニングやGPカーネル選択のためのタスク固有のトレーニングを伴わず, 高い競争力を持つサロゲートモデルであることが示唆された。
本研究は, 材料発見の活発な学習の補助として, TFMのさらなる発展を動機づけるものである。
関連論文リスト
- Tabular foundation models for in-context prediction of molecular properties [44.41091354279448]
タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて予測を行い、タスク固有のトレーニングなしで推論を可能にする。
我々は、標準化された医薬品のベンチマークと化学工学のデータセットの両方で、低・中・データ体制におけるTFMを評価した。
ベンチマーク全体を通して、この手法は微調整に比べて計算コストを抑えながら優れた予測性能を示す。
論文 参考訳(メタデータ) (2026-04-17T14:58:43Z) - TokaMind: A Multi-Modal Transformer Foundation Model for Tokamak Plasma Dynamics [56.073642366268764]
TokaMindは、核融合プラズマモデリングのためのオープンソースの基礎モデルフレームワークである。
公開されているMASTデータセットから、異種トカマク診断をトレーニングする。
我々は最近発表されたMASTベンチマークのTokaMarkでTokaMindを評価した。
論文 参考訳(メタデータ) (2026-02-16T12:26:07Z) - Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。
Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
論文 参考訳(メタデータ) (2025-10-24T07:15:06Z) - Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs [1.6963596661873952]
本稿では,質問応答対をFactualクラスとConceptualクラスに分類することで,微調整プロセスの改善に焦点をあてる。
2つの異なるLlama-2モデルはこれらの分類に基づいて微調整され、GPT-3.5 TurboやGeminiのような大型モデルを用いて評価される。
以上の結果から,概念データセットでトレーニングされたモデルは,実データセットでトレーニングしたモデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-03-03T03:26:30Z) - Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。
データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。
本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
論文 参考訳(メタデータ) (2025-01-16T16:19:53Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。
本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
論文 参考訳(メタデータ) (2023-04-28T21:48:31Z) - Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。
CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。
本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
論文 参考訳(メタデータ) (2022-01-13T21:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。