論文の概要: Amortized Nonlinear Variable Selection with Prior-Data Fitted Networks
- arxiv url: http://arxiv.org/abs/2611.04848v1
- Date: Tue, 03 Nov 2026 13:13:51 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:28:59.392777
- Title: Amortized Nonlinear Variable Selection with Prior-Data Fitted Networks
- Title（参考訳）: 事前データフィッティングネットワークを用いた補正非線形可変選択
- Abstract要約: 本稿では,MambaPFNを提案する。MambaPFNは,事前データフィットネットワークを用いたモデルに依存しないMarkov BlAnket選択の略である。
本稿では,Transformerをデータセットから関連する変数への学習可能なマッピングとして扱う,変数選択学習における機能的マッピングの観点から考察する。
MambaPFNは、シミュレーション研究において望ましい変数選択性能を達成し、スケーリング法則を示す。
- 参考スコア（独自算出の注目度）: 2.416497023139596
- License:
- Abstract: Variable selection is an important task for interpreting potentially complex systems in fields such as biology, business, and sociology. The importance of variable selection has attracted considerable attention in statistics and machine learning. In this paper, we are mainly interested in model-agnostic variable selection for identifying variables that have general nonlinear dependence on the response. We propose MambaPFN, short for Model-Agnostic Markov BlAnket selection with Prior-data Fitted Networks, which is built upon the Transformer, a building block of many popular large language models. Specifically, we consider a functional-mapping perspective on variable-selection learning, in which the Transformer is treated as a learnable mapping from a dataset to its relevant variables. To learn this mapping, MambaPFN introduces three new components: (i) a faithful, rich, and scalable scheme for generating pretraining data, (ii) an objective that targets each variable's posterior inclusion probability, and (iii) a modified Transformer architecture tailored to variable selection. Once pretrained, MambaPFN is applied to new datasets without parameter updates. Empirically, MambaPFN achieves desirable variable-selection performance in simulation studies and exhibits a scaling law---more pretraining datasets and larger models can continuously improve its performance. Applied to a Facebook comments dataset, MambaPFN selects the fewest variables and achieves the highest computational efficiency and predictive performance, improving upon the best baselines by about 20%.
- Abstract（参考訳）: 可変選択は、生物学、ビジネス、社会学といった分野において、潜在的に複雑なシステムを解釈するための重要なタスクである。
変数選択の重要性は統計学と機械学習に大きな注目を集めている。
本稿では, 応答に一般の非線形依存を持つ変数を同定するために, モデルに依存しない変数選択に主に関心を持つ。
我々は,多くの大言語モデルのビルディングブロックであるTransformer上に構築されたPresideed-data Fitted Networksを用いて,モデル非依存のMarkov BlAnket選択のためのMambaPFNを提案する。
具体的には、Transformerをデータセットから関連する変数への学習可能なマッピングとして扱う、変数選択学習における機能的マッピングの観点から考察する。
このマッピングを学ぶために、MambaPFN氏は3つの新しいコンポーネントを紹介した。
(i)事前学習データを生成するための忠実で豊かでスケーラブルなスキーム。
(ii)各変数の後部包含確率を目標とする目的,及び
(iii)可変選択に適した改良されたトランスフォーマーアーキテクチャ。
事前トレーニングが完了すると、MambaPFNはパラメータを更新せずに新しいデータセットに適用される。
経験的に、MambaPFNはシミュレーション研究において望ましい変数選択性能を達成し、より事前トレーニングされたデータセットとより大きなモデルにより、そのパフォーマンスを継続的に改善できるスケーリング法則を示す。
Facebookのコメントデータセットに適用されたMambaPFNは、最も少ない変数を選択し、最高の計算効率と予測性能を達成し、最高のベースラインを約20%改善する。
関連論文リスト
- Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。
提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2026-05-10T17:30:16Z) - Variational Garrote for Statistical Physics-based Sparse and Robust Variable Selection [8.312621461460148]
特徴選択スピン変数を明示する統計物理学に基づく変分ガロテ法(VG法)を再検討する。
完全制御可能な合成データセットと複雑な実世界のデータセットの両方でVGを評価する。
VGは、機械学習における圧縮センシングやモデルプルーニングなど、幅広いアプリケーションにわたるスパースモデリングの強力な可能性を提供する。
論文 参考訳（メタデータ） (2025-09-08T07:06:10Z) - FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。
本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
論文 参考訳（メタデータ） (2025-03-20T04:49:40Z) - Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - IGANN Sparse: Bridging Sparsity and Interpretability with Non-linear Insight [4.010646933005848]
IGANN Sparseは、一般化された加法モデルのファミリーから生まれた、新しい機械学習モデルである。
トレーニング中の非線形特徴選択プロセスを通じて、スパシティを促進する。
これにより、予測性能を犠牲にすることなく、モデル空間の改善による解釈可能性を保証する。
論文 参考訳（メタデータ） (2024-03-17T22:44:36Z) - Dynamic Model Switching for Improved Accuracy in Machine Learning [0.0]
そこで我々は,CatBoostとXGBoostの直感的に遷移する適応アンサンブルを導入する。
ユーザは、80%の精度でベンチマークを設定し、パフォーマンスの向上を保証する場合に限って、システムが新しいモデルに動的に移行するように促す。
この動的モデルスイッチング機構は、現実世界のシナリオにおけるデータの進化的な性質と一致する。
論文 参考訳（メタデータ） (2024-01-31T00:13:02Z) - Contextual Feature Selection with Conditional Stochastic Gates [9.784482648233048]
条件ゲート(c-STG)は、文脈変数に基づいてパラメータが予測される条件変数を用いて、特徴の重要性をモデル化する。
我々は,c-STGは,予測精度と解釈可能性を高めつつ,特徴選択能力の向上につながることを示した。
論文 参考訳（メタデータ） (2023-12-21T19:12:59Z) - Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Evaluating natural language processing models with generalization
metrics that do not need access to any training or testing data [66.11139091362078]
本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。
ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
論文 参考訳（メタデータ） (2022-02-06T20:07:35Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳（メタデータ） (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。