論文の概要: Do Existing Preconditioners Improve Biomedical Tabular Foundation Learning? An Empirical Study on TabPFN Optimization

• arxiv url: http://arxiv.org/abs/2609.25013v1
• Date: Sat, 01 Aug 2026 16:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.83265
• Title: Do Existing Preconditioners Improve Biomedical Tabular Foundation Learning? An Empirical Study on TabPFN Optimization
• Title（参考訳）: 既存のプレコンディショナーはバイオメディカルタブラリファウンデーション学習を改善するか? : TabPFN最適化に関する実証的研究
• Abstract要約: 我々は,AdamWをベースとしたTabPFN v2.5の精密調整のための5つのプレコンディショニング戦略を総合的に検討した。 この評価は、予測性能、計算効率、統計的意義分析を考察する。
• 参考スコア（独自算出の注目度）: 9.610280855755999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models have recently shown strong potential for structured biomedical data analysis. Among them, TabPFN has emerged as an effective approach for low-data tabular classification tasks. However, the impact of optimization and preconditioning strategies on biomedical fine-tuning remains largely unexplored. In this work, we present a comprehensive empirical investigation of five AdamW-based preconditioning strategies for fine-tuning TabPFN v2.5 on 59 biomedical datasets spanning Alzheimer's disease, breast cancer, schizophrenia, significant memory concern (SMC), KEEL biomedical datasets, and UCI biomedical benchmarks. The evaluation considers predictive performance, computational efficiency, and statistical significance analysis. Experimental results demonstrate that the original AdamW optimizer consistently achieves the best overall performance and statistical ranking, while existing curvature-aware preconditioners fail to provide reliable improvements across diverse biomedical learning scenarios. The findings suggest that generic preconditioning approaches may not adequately capture the optimization characteristics of biomedical tabular learning, motivating the development of biomedical-aware preconditioners specifically tailored for healthcare-oriented tabular foundation models.
• Abstract（参考訳）: タブラル基礎モデルは、最近、構造化バイオメディカルデータ分析の強力な可能性を示している。 その中でもTabPFNは、低データの表分類タスクに有効なアプローチとして登場した。 しかし, バイオメディカル微調整における最適化とプレコンディショニング戦略の影響は未解明のままである。 本研究では、アルツハイマー病、乳癌、統合失調症、重要な記憶障害(SMC)、KEELバイオメディカルデータセット、UCIバイオメディカルベンチマークにまたがる59のバイオメディカルデータセットについて、AdamWをベースとした5つのプレコンディショニング戦略を総合的に検討した。 この評価は、予測性能、計算効率、統計的意義分析を考察する。 実験結果から,AdamWオプティマイザは総合的な性能と統計的ランキングを一貫して達成し,既存の曲率対応プリコンディショナーは多様な生物医学的学習シナリオに対して信頼性の高い改善を提供していないことがわかった。 以上の結果から, 総合的なプレコンディショニングアプローチは, 医療指向の表インフォメーションモデルに適したバイオメディカル・アウェア・プレコンディショナーの開発を動機として, 生物医学的な表インフォメーション学習の最適化特性を適切に捉えていない可能性が示唆された。

関連論文リスト

• Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet [21.43689940835954]
  本研究では,専門的なバイオメディカルデータ・テキスト生成タスクにおける小言語モデル(SLM)の訓練の比較分析を行った。 我々は、教師付き微調整(SFT)、直接選好最適化(DPO)、確率比選好最適化(ORPO)など、広く採用されているポストトレーニング手法を検討する。 クロスデータセットの汎用性を評価するため,オープンFDAの薬物ラベルデータも収集した。
  論文  参考訳（メタデータ） (2026-07-15T04:22:25Z)
• ViroBench: Benchmarking Nucleotide Foundation Models on Viral Genomics Tasks [86.89727311669937]
  我々は、ヌクレオチド基礎モデル(NFM)に特化して設計された最初の包括的かつ大規模ベンチマークであるViroBenchを紹介する。 ViroBench氏は、生物学的理解と潜伏するバイオセキュリティリスクという、2つの重要な側面にわたるモデルを評価し、4つのタスクタイプ内の18のさまざまなシナリオをカバーしている。 ViroBenchは、ウイルスヌクレオチド基盤モデルの研究のための解釈可能、診断的評価および再現可能な測定フレームワークを提供する。
  論文  参考訳（メタデータ） (2026-05-25T03:31:46Z)
• Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
  回帰に基づくタスクの基礎モデルを体系的に評価する。 我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。 乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
  論文  参考訳（メタデータ） (2026-01-29T14:06:50Z)
• Harnessing Large Language Models for Biomedical Named Entity Recognition [4.376764535031509]
  BioNERは医療情報学の基礎的なタスクであり、薬物発見や臨床試験のマッチングといった下流の応用に不可欠である。 提案するBioSelectTuneは,汎用言語モデルを微調整するための,高効率でデータ中心のフレームワークである。 我々のモデルは、正の正のデータのうち50%しか訓練されていないが、完全に訓練されたベースラインを超えている。
  論文  参考訳（メタデータ） (2025-12-28T01:34:23Z)
• Investigating Data Pruning for Pretraining Biological Foundation Models at Scale [47.09153330837959]
  本稿では,生物ドメインに適したポストホックインフルエンス誘導型データ解析フレームワークを提案する。 我々のフレームワークは、極端な刈り取り率99%のランダム選択ベースラインを一貫して上回っている。 これらの結果は、BioFMプリトレーニングの計算コストを大幅に削減するために、インフルエンス誘導型データプルーニングの可能性を示している。
  論文  参考訳（メタデータ） (2025-12-15T02:42:52Z)
• BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
  BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
  論文  参考訳（メタデータ） (2024-04-29T05:40:08Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。