Fugu-MT 論文翻訳(概要): Decoding-based Regression

論文の概要: Decoding-based Regression

arxiv url: http://arxiv.org/abs/2501.19383v1
Date: Fri, 31 Jan 2025 18:37:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 14:04:07.262551
Title: Decoding-based Regression
Title（参考訳）: 復号に基づく回帰
Authors: Xingyou Song, Dara Bahri,
Abstract要約: 特徴表現に適用した場合の因果自己回帰シーケンスモデルの有用性について検討する。私たちは、通常の方法でトレーニングされているにも関わらず、-クロスエントロピー損失による次のトーケン予測は、復号ベースの回帰は、従来のアプローチと同じくらいパフォーマンスが高いことに気付きました。
参考スコア（独自算出の注目度）: 29.15816693410931
License:
Abstract: Language models have recently been shown capable of performing regression tasks wherein numeric predictions are represented as decoded strings. In this work, we provide theoretical grounds for this capability and furthermore investigate the utility of causal auto-regressive sequence models when they are applied to any feature representation. We find that, despite being trained in the usual way - for next-token prediction via cross-entropy loss - decoding-based regression is as performant as traditional approaches for tabular regression tasks, while being flexible enough to capture arbitrary distributions, such as in the task of density estimation.
Abstract（参考訳）: 最近、数値予測をデコード文字列として表現する回帰タスクを実行する言語モデルが示されている。本研究では,この機能の理論的根拠を提供するとともに,任意の特徴表現に適用した場合の因果自己回帰シーケンスモデルの有用性について検討する。クロスエントロピー損失による次点予測は、通常の方法でトレーニングされているにもかかわらず、デコードベースの回帰は、密度推定のようなタスクのような任意の分布を捉えるのに十分な柔軟性を持ちながら、表象回帰タスクの伝統的なアプローチと同じくらい高性能である。

関連論文リスト

Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文参考訳（メタデータ） (2024-04-21T01:27:47Z)
A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming [1.6874375111244329]
本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1～2%以上よい結果を得た。
論文参考訳（メタデータ） (2024-01-16T16:45:51Z)
Beta quantile regression for robust estimation of uncertainty in the presence of outliers [1.6377726761463862]
量子回帰(Quantile Regression)は、ディープニューラルネットワークにおけるアレタリック不確実性を推定するために用いられる。本稿では、頑健な分散の概念を取り入れた量子レグレッションのためのロバストな解を提案する。
論文参考訳（メタデータ） (2023-09-14T01:18:57Z)
Streaming Active Learning for Regression Problems Using Regression via Classification [12.572218568705376]
本稿では,回帰学習のためのストリーミング能動学習にレグレッション・ウィズ・クラス化フレームワークを用いることを提案する。レグレッション・ウィズ・クラス化は回帰問題を分類問題に変換し、ストリーミング能動学習法を回帰問題に直接適用できるようにする。
論文参考訳（メタデータ） (2023-09-02T20:24:24Z)
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文参考訳（メタデータ） (2023-09-02T01:27:53Z)
Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文参考訳（メタデータ） (2023-07-03T08:19:00Z)
ResMem: Learn what you can and memorize the rest [79.19649788662511]
本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。 ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
論文参考訳（メタデータ） (2023-02-03T07:12:55Z)
Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文参考訳（メタデータ） (2021-08-26T17:55:11Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
Neural Symbolic Regression that Scales [58.45115548924735]
本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
論文参考訳（メタデータ） (2021-06-11T14:35:22Z)
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。回帰フリーモデル更新を制約付き最適化問題に定式化する。モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文参考訳（メタデータ） (2021-05-07T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。