論文の概要: Realistic Evaluation of TabPFN v2 in Open Environments

• arxiv url: http://arxiv.org/abs/2505.16226v1
• Date: Thu, 22 May 2025 04:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.044595
• Title: Realistic Evaluation of TabPFN v2 in Open Environments
• Title（参考訳）: オープン環境におけるTabPFN v2の実測評価
• Authors: Zi-Jian Cheng, Zi-Yi Jia, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo,
• Abstract要約: オープン環境におけるTabPFN v2の適応性に関する総合評価を行った。 ここでは,TabPFN v2はオープン環境において大きな制約を呈するが,小規模,共同シフト型,クラスバランス型のタスクに適していることを示す。
• 参考スコア（独自算出の注目度）: 45.368146581808276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data, owing to its ubiquitous presence in real-world domains, has garnered significant attention in machine learning research. While tree-based models have long dominated tabular machine learning tasks, the recently proposed deep learning model TabPFN v2 has emerged, demonstrating unparalleled performance and scalability potential. Although extensive research has been conducted on TabPFN v2 to further improve performance, the majority of this research remains confined to closed environments, neglecting the challenges that frequently arise in open environments. This raises the question: Can TabPFN v2 maintain good performance in open environments? To this end, we conduct the first comprehensive evaluation of TabPFN v2's adaptability in open environments. We construct a unified evaluation framework covering various real-world challenges and assess the robustness of TabPFN v2 under open environments scenarios using this framework. Empirical results demonstrate that TabPFN v2 shows significant limitations in open environments but is suitable for small-scale, covariate-shifted, and class-balanced tasks. Tree-based models remain the optimal choice for general tabular tasks in open environments. To facilitate future research on open environments challenges, we advocate for open environments tabular benchmarks, multi-metric evaluation, and universal modules to strengthen model robustness. We publicly release our evaluation framework at https://anonymous.4open.science/r/tabpfn-ood-4E65.
• Abstract（参考訳）: タブラルデータは、現実世界のドメインに広く存在しているため、機械学習研究において大きな注目を集めている。 ツリーベースモデルは長い間、表形式の機械学習タスクを支配してきたが、最近提案されたディープラーニングモデルであるTabPFN v2が登場し、非並列なパフォーマンスとスケーラビリティの可能性を示している。 TabPFN v2について、さらなるパフォーマンス向上のために広範な研究が行われてきたが、この研究の大部分は、オープン環境で頻繁に発生する課題を無視して、クローズドな環境に限られている。 TabPFN v2は、オープン環境で優れたパフォーマンスを維持することができるか? この目的のために,オープン環境におけるTabPFN v2の適応性に関する総合評価を行った。 実世界の課題を網羅した統合評価フレームワークを構築し,このフレームワークを用いたオープン環境シナリオ下でのTabPFN v2の堅牢性を評価する。 実験結果から,TabPFN v2はオープン環境において大きな制限を呈するが,小規模,共変量シフト,クラスバランスに適していることが示された。 ツリーベースモデルは、オープン環境における一般的な表型タスクの最適選択である。 オープン環境の課題に対する今後の研究を促進するため,オープン環境のタブラベンチマーク,マルチメトリック評価,モデルロバスト性向上のためのユニバーサルモジュールを提案する。 評価フレームワークはhttps://anonymous.4open.science/r/tabpfn-ood-4E65で公開しています。

関連論文リスト

• A Closer Look at TabPFN v2: Strength, Limitation, and Extension [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、複数のデータセットにまたがる前例のないコンテキスト内学習の精度を達成する。 本稿では,300以上のデータセット上でTabPFN v2を評価し,中小規模タスクにおける例外的な一般化機能を確認する。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabFSBench: Tabular Benchmark for Feature Shifts in Open Environment [45.368146581808276]
  タブラルデータは様々な機械学習タスクで広く利用されている。 これまでの研究は主に分布シフトを緩和することに集中してきたが、特徴シフトは限定的な注目を集めた。 本稿では,表型データにおける特徴シフトに関する最初の包括的研究を行い,最初の表型特徴シフトベンチマーク(TabFSBench)を紹介する。 TabFSBenchは、https://github.com/LAMDASZ-ML/TabFSBenchで数行のPythonコードを使用することで、パブリックアクセス用にリリースされた。
  論文  参考訳（メタデータ） (2025-01-31T07:40:34Z)
• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• AnyLoc: Towards Universal Visual Place Recognition [12.892386791383025]
  視覚的位置認識(VPR)は、ロボットのローカライゼーションに不可欠である。 ほとんどの性能の高いVPRアプローチは環境に特化しており、タスクに特化している。 私たちは、VPRの普遍的なソリューションを開発します -- 幅広い構造化された、非構造化された環境にわたって機能するテクニックです。
  論文  参考訳（メタデータ） (2023-08-01T17:45:13Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• Vector Quantized Models for Planning [31.95311228306322]
  我々は、部分的に観測可能な環境を扱う新しいアプローチを提案する。 私たちの重要な洞察は、個別のオートエンコーダを使用して、環境におけるアクションの複数の影響を捉えることです。 我々はモンテカルロ木探索の変種を用いて、エージェントの動作と環境応答を表す離散潜在変数の両方を計画する。
  論文  参考訳（メタデータ） (2021-06-08T18:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。