Fugu-MT 論文翻訳(概要): Deep Autoregressive Regression

論文の概要: Deep Autoregressive Regression

arxiv url: http://arxiv.org/abs/2211.07447v1
Date: Mon, 14 Nov 2022 15:22:20 GMT
ステータス: 処理完了
システム内更新日: 2022-11-15 19:17:12.532235
Title: Deep Autoregressive Regression
Title（参考訳）: 深部自己回帰回帰
Authors: Adam Khakhar, Jacob Buckman
Abstract要約: 平均二乗誤差損失を用いた回帰の大幅な制限は、ターゲットの規模に対する感度であることを示す。本稿では,実数値回帰目標,自己回帰回帰に基づく深層学習モデルの学習手法を提案する。
参考スコア（独自算出の注目度）: 5.257719744958367
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we demonstrate that a major limitation of regression using a mean-squared error loss is its sensitivity to the scale of its targets. This makes learning settings consisting of several subtasks with differently-scaled targets challenging, and causes algorithms to require task-specific learning rate tuning. A recently-proposed alternative loss function, known as histogram loss, avoids this issue. However, its computational cost grows linearly with the number of buckets in the histogram, which renders prediction with real-valued targets intractable. To address this issue, we propose a novel approach to training deep learning models on real-valued regression targets, autoregressive regression, which learns a high-fidelity distribution by utilizing an autoregressive target decomposition. We demonstrate that this training objective allows us to solve regression tasks involving multiple targets with different scales.
Abstract（参考訳）: 本研究では,平均二乗誤差損失を用いた回帰の大幅な制限が,目標のスケールに対する感度であることを示す。これにより、異なるスケールのターゲットを持つ複数のサブタスクからなる学習設定が困難になり、アルゴリズムがタスク固有の学習レートチューニングを必要とする。最近提案されたヒストグラム損失関数は、この問題を回避している。しかし、計算コストはヒストグラム内のバケットの数とともに直線的に増加し、実際の値のターゲットで予測できる。この問題に対処するために,自己回帰的目標分解を利用して高忠実度分布を学習する自己回帰的目標に基づくディープラーニングモデルの学習手法を提案する。このトレーニングの目的は、異なるスケールの複数のターゲットを含む回帰タスクを解決できることを実証する。

関連論文リスト

A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文参考訳（メタデータ） (2024-09-03T13:29:13Z)
Investigating the Histogram Loss in Regression [16.83443393563771]
ヒストグラムロス(Histogram Loss)は、対象変数の条件分布を学習するための回帰手法である。この設定における学習分布の利点は、余分な情報をモデル化するのではなく、最適化の改善によるものであることを示す。
論文参考訳（メタデータ） (2024-02-20T23:29:41Z)
Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。不均衡回帰タスクを解くために階層型分類器を構築することを提案する。不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文参考訳（メタデータ） (2023-10-26T04:54:39Z)
RegExplainer: Generating Explanations for Graph Neural Networks in Regression Tasks [10.473178462412584]
グラフ回帰モデル(XAIG-R)を解釈する新しい説明法を提案する。本手法は分散シフト問題と連続順序決定境界問題に対処する。回帰タスクにおいて連続的に順序付けられたラベルに取り組むための自己教師型学習戦略を提案する。
論文参考訳（メタデータ） (2023-07-15T16:16:22Z)
Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
論文参考訳（メタデータ） (2023-02-15T10:40:51Z)
Training trajectories, mini-batch losses and the curious role of the learning rate [13.848916053916618]
検証された勾配勾配勾配は、ディープラーニングのほぼすべての応用において、基本的な役割を担っていることを示す。本稿では,ミニバッチの勾配と全バッチの関係を解析する簡単なモデルと幾何学的解釈を提案する。特に、非常に低い損失値は、十分な学習率で1段階の降下に到達することができる。
論文参考訳（メタデータ） (2023-01-05T21:58:46Z)
X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文参考訳（メタデータ） (2021-10-09T13:56:48Z)
ReLU Regression with Massart Noise [52.10842036932169]
本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
論文参考訳（メタデータ） (2021-09-10T02:13:22Z)
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。回帰フリーモデル更新を制約付き最適化問題に定式化する。モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文参考訳（メタデータ） (2021-05-07T03:33:00Z)
Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
論文参考訳（メタデータ） (2021-03-10T16:45:22Z)
Deep Ordinal Regression with Label Diversity [19.89482062012177]
本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
論文参考訳（メタデータ） (2020-06-29T08:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。