Fugu-MT 論文翻訳(概要): Negative binomial regression and inference using a pre-trained transformer

論文の概要: Negative binomial regression and inference using a pre-trained transformer

arxiv url: http://arxiv.org/abs/2508.04111v1
Date: Wed, 06 Aug 2025 06:15:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-07 20:09:22.565591
Title: Negative binomial regression and inference using a pre-trained transformer
Title（参考訳）: 事前学習型トランスを用いた負二項回帰と推論
Authors: Valentine Svensson,
Abstract要約: 本研究では、事前学習した変換器を用いて、観測されたカウントデータから負の二項回帰パラメータの推定値を生成する。変圧器法は最大極大最適化よりも20倍高速でパラメータ精度が向上した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Negative binomial regression is essential for analyzing over-dispersed count data in in comparative studies, but parameter estimation becomes computationally challenging in large screens requiring millions of comparisons. We investigate using a pre-trained transformer to produce estimates of negative binomial regression parameters from observed count data, trained through synthetic data generation to learn to invert the process of generating counts from parameters. The transformer method achieved better parameter accuracy than maximum likelihood optimization while being 20 times faster. However, comparisons unexpectedly revealed that method of moment estimates performed as well as maximum likelihood optimization in accuracy, while being 1,000 times faster and producing better-calibrated and more powerful tests, making it the most efficient solution for this application.
Abstract（参考訳）: 負の二項回帰は、比較研究において過分散カウントデータを解析するために不可欠であるが、パラメータ推定は数百万の比較を必要とする大画面では計算的に困難になる。予備学習された変換器を用いて、観測されたカウントデータから負の二項回帰パラメータを推定し、合成データ生成を通して学習し、パラメータからカウントを生成する過程を逆転させる。変圧器法は最大極大最適化よりも20倍高速でパラメータ精度が向上した。しかし、予想外の比較では、モーメント推定法は精度が最大で1000倍高速であり、より良い校正とより強力なテストを生成するため、このアプリケーションにとって最も効率的な解であることがわかった。

関連論文リスト

Be aware of overfitting by hyperparameter optimization! [0.0]
ハイパーパラメータ最適化が必ずしも良いモデルをもたらすとは限らないことを示し、おそらく同じ統計測度を使用する場合の過度な適合が原因である。我々はまた、トランスフォーマーCNNと呼ばれる笑顔の自然言語処理に基づく表現学習手法を追加することで、過去の分析を拡張した。この結果から,トランスフォーマーCNNは,28対比較中26対比較において,グラフベースの手法よりも優れた結果を示した。
論文参考訳（メタデータ） (2024-07-30T12:45:05Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文参考訳（メタデータ） (2024-03-27T21:18:43Z)
Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文参考訳（メタデータ） (2023-10-13T23:12:21Z)
Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。提案手法はRパッケージプローブに実装されている。
論文参考訳（メタデータ） (2022-09-16T19:15:50Z)
Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。基本的に無視可能なコストで、同時に分散を低減することができる。
論文参考訳（メタデータ） (2021-07-01T06:43:11Z)
Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。線形複雑リカレント変種は自己回帰生成に適していることが証明されている。この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文参考訳（メタデータ） (2021-03-24T10:50:43Z)
Accounting for Variance in Machine Learning Benchmarks [37.922783300635864]
ある機械学習アルゴリズムAは、変化の源を越えて学習パイプラインを最適化する複数の試行を理想的に呼び出す。これは非常に高価であり、コーナーは結論に達するために切断されます。ベンチマークプロセス全体をモデル化し,データサンプリングによるばらつき,パラメータ初期化,ハイパーパラメータ選択の影響を明らかにした。計算コストの51倍の削減で,不完全な推定器アプローチにより多くの変動源を加えることにより,理想推定器の精度が向上することを示す。
論文参考訳（メタデータ） (2021-03-01T22:39:49Z)
AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文参考訳（メタデータ） (2020-08-16T11:36:11Z)
Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文参考訳（メタデータ） (2020-06-16T18:43:31Z)
Gaussian Process Boosting [13.162429430481982]
ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
論文参考訳（メタデータ） (2020-04-06T13:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。