Fugu-MT 論文翻訳(概要): What exactly has TabPFN learned to do?

論文の概要: What exactly has TabPFN learned to do?

arxiv url: http://arxiv.org/abs/2502.08978v1
Date: Thu, 13 Feb 2025 05:28:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-14 13:50:20.087950
Title: What exactly has TabPFN learned to do?
Title（参考訳）: TabPFNが正確に何をしたのか?
Authors: Calvin McCarter,
Abstract要約: 前回のICLRカンファレンスでTabPFN [Hollmann et al., 2023]を発表した。ブラックボックス関数近似器として扱うとともに,その生成した関数近似をトレーニングデータセットの様々な選択に基づいて観測する。今後のPFN(Presideed-data fited Network)の開発,評価,適用について,これらの成果がどのような影響を与えるのか,考察した上で,本論文を締めくくる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: TabPFN [Hollmann et al., 2023], a Transformer model pretrained to perform in-context learning on fresh tabular classification problems, was presented at the last ICLR conference. To better understand its behavior, we treat it as a black-box function approximator generator and observe its generated function approximations on a varied selection of training datasets. Exploring its learned inductive biases in this manner, we observe behavior that is at turns either brilliant or baffling. We conclude this post with thoughts on how these results might inform the development, evaluation, and application of prior-data fitted networks (PFNs) in the future.
Abstract（参考訳）: 前回のICLRカンファレンスでTabPFN [Hollmann et al , 2023]を発表した。その振る舞いをよりよく理解するために、ブラックボックス関数近似器生成器として扱い、その生成した関数近似をトレーニングデータセットの様々な選択について観察する。このような方法で学習された帰納バイアスを探索し、私たちは、輝かしいか、困惑するかのいずれかの行動を観察します。今後のPFN(Presideed-data fited Network)の開発,評価,適用について,これらの成果がどのような影響を与えるのか,考察した上で,本論文を締めくくる。

関連論文リスト

Look into the Future: Deep Contextualized Sequential Recommendation [28.726897673576865]
我々は、Look into the Future(LIFT)と呼ばれる、シーケンシャルなレコメンデーションの新しいフレームワークを提案する。 LIFTはシーケンシャルなレコメンデーションのコンテキストを構築し、活用する。本実験では,クリックスルー率予測および評価予測タスクにおいて,LIFTは大幅な性能向上を実現している。
論文参考訳（メタデータ） (2024-05-23T09:34:28Z)
COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
論文参考訳（メタデータ） (2023-10-04T17:49:48Z)
Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文参考訳（メタデータ） (2023-06-26T17:58:50Z)
Future-conditioned Unsupervised Pretraining for Decision Transformer [19.880628629512504]
我々は、教師なしRL事前学習のための概念的にシンプルなアプローチとして、事前学習型決定変換器(PDT)を提案する。 PDTは、訓練中の行動を予測するために、将来の軌跡情報を特権的な文脈として活用する。オフラインデータから多様な振る舞いを抽出し、オンラインの微調整によってハイリターン動作を制御できる。
論文参考訳（メタデータ） (2023-05-26T07:05:08Z)
Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。我々のアプローチは、意図をモデル化することで受動的データから学習する。実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
論文参考訳（メタデータ） (2023-04-10T17:59:05Z)
What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文参考訳（メタデータ） (2022-11-28T18:59:51Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文参考訳（メタデータ） (2021-12-20T13:07:39Z)
Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。