論文の概要: Probabilistic Pretraining for Neural Regression

• arxiv url: http://arxiv.org/abs/2508.16355v1
• Date: Fri, 22 Aug 2025 13:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.385743
• Title: Probabilistic Pretraining for Neural Regression
• Title（参考訳）: ニューラル回帰のための確率論的事前学習
• Authors: Boris N. Oreshkin, Shiv Tavker, Dmitry Efimov,
• Abstract要約: NIAQUE, Neural Interpretable Any-Quantile Estimationは確率回帰における伝達学習の新しいモデルである。 我々は、様々な下流回帰データセット上でNIAQUEを直接事前学習することで、個々の回帰タスクのパフォーマンスが向上することを示した。 また,木系モデルと最近の神経基盤モデルTabPFNとTabDPTを含む強力なベースラインに対するカグル競技におけるNIAQUEの有効性を強調した。
• 参考スコア（独自算出の注目度）: 3.1224081969539714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning for probabilistic regression remains underexplored. This work closes this gap by introducing NIAQUE, Neural Interpretable Any-Quantile Estimation, a new model designed for transfer learning in probabilistic regression through permutation invariance. We demonstrate that pre-training NIAQUE directly on diverse downstream regression datasets and fine-tuning it on a specific target dataset enhances performance on individual regression tasks, showcasing the positive impact of probabilistic transfer learning. Furthermore, we highlight the effectiveness of NIAQUE in Kaggle competitions against strong baselines involving tree-based models and recent neural foundation models TabPFN and TabDPT. The findings highlight NIAQUE's efficacy as a robust and scalable framework for probabilistic regression, leveraging transfer learning to enhance predictive performance.
• Abstract（参考訳）: 確率回帰のための転帰学習はいまだに未調査である。 NIAQUE(Neural Interpretable Any-Quantile Estimation)は、置換不変性による確率的回帰学習のための新しいモデルである。 NIAQUEを様々な下流回帰データセットに直接事前学習し、特定の目標データセットに微調整することで、個々の回帰タスクのパフォーマンスが向上し、確率的伝達学習によるポジティブな影響が示される。 さらに,木ベースのモデルと最近のニューラルネットワーク基盤モデルTabPFNとTabDPTを含む強力なベースラインに対するKaggleコンペティションにおけるNIAQUEの有効性を強調した。 NIAQUEは確率的回帰のための堅牢でスケーラブルなフレームワークであり、予測性能を向上させるために転送学習を活用する。

関連論文リスト

• AdaPRL: Adaptive Pairwise Regression Learning with Uncertainty Estimation for Universal Regression Tasks [0.0]
  回帰タスクのための適応型ペアワイズ学習フレームワーク(AdaPRL)を提案する。 AdaPRLは、データポイントと深い確率モデルの間の相対的な差異を利用して、予測に関連する不確実性を定量化する。 実験により、AdaPRLが最近提案された回帰フレームワークにシームレスに統合され、パフォーマンスが向上することが示された。
  論文  参考訳（メタデータ） (2025-01-10T09:19:10Z)
• Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data [2.1248439796866228]
  本研究では,線形回帰とニューラルネットワークに対するpNMLの学習可能性について検討する。 pNMLは様々なタスクにおけるこれらのモデルの性能と堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-10T13:58:19Z)
• Amortised Inference in Bayesian Neural Networks [0.0]
  Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。 補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。 次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
  論文  参考訳（メタデータ） (2023-09-06T14:02:33Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。