論文の概要: Derivative-based regularization for regression

• arxiv url: http://arxiv.org/abs/2405.00555v1
• Date: Wed, 1 May 2024 14:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-02 15:27:48.901637
• Title: Derivative-based regularization for regression
• Title（参考訳）: 回帰の導出に基づく正規化
• Abstract要約: 多変数回帰問題における正規化に対する新しいアプローチを導入する。 我々の正規化器はDLossと呼ばれ、トレーニングデータから推定したモデル導関数とデータ生成関数の導関数の違いを解析する。
• 参考スコア（独自算出の注目度）: 3.0408645115035036
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we introduce a novel approach to regularization in multivariable regression problems. Our regularizer, called DLoss, penalises differences between the model's derivatives and derivatives of the data generating function as estimated from the training data. We call these estimated derivatives data derivatives. The goal of our method is to align the model to the data, not only in terms of target values but also in terms of the derivatives involved. To estimate data derivatives, we select (from the training data) 2-tuples of input-value pairs, using either nearest neighbour or random, selection. On synthetic and real datasets, we evaluate the effectiveness of adding DLoss, with different weights, to the standard mean squared error loss. The experimental results show that with DLoss (using nearest neighbour selection) we obtain, on average, the best rank with respect to MSE on validation data sets, compared to no regularization, L2 regularization, and Dropout.
• Abstract（参考訳）: 本研究では,多変数回帰問題における正規化に対する新しいアプローチを提案する。 我々の正規化器はDLossと呼ばれ、トレーニングデータから推定したモデル導関数とデータ生成関数の導関数の違いを解析する。 これらの推定導関数をデータ導関数と呼ぶ。 本手法の目的は、対象値だけでなく、関連するデリバティブの観点からも、モデルとデータとの整合性を確保することである。 データデリバティブを推定するために、最も近い隣人またはランダムな選択を用いて、入力値対の2-タプルを(トレーニングデータから)選択する。 合成および実データを用いて、標準2乗誤差損失に異なる重みを持つDLossを追加する効果を評価する。 実験の結果、DLoss(近傍選択法)では、正則化やL2正則化、Dropoutに比べて平均して、検証データセット上でのMSEに対する最高のランクが得られることがわかった。

関連論文リスト

• Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data [73.19814469893088]
  デジタルツインと学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。 本稿では,拡張データセットのトレーニングが真の,人口レベルのパフォーマンスを向上する一方で,実際のテストデータポイントを可能な限り少なく消費するかどうかを論じる。 合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクにおいて、aeSFTは平均ベースのシーケンシャルテストよりもはるかに少ない実検サンプルを用いて有用な合成データを識別することを示す。
  論文  参考訳（メタデータ） (2026-08-28T07:05:38Z)
• A Zeroth-Order Deep Learning Method for Fully Nonlinear Parabolic Partial Differential Equations with Unknown Coefficients [5.693122506667716]
  未知係数を持つ高重み付き部分次元微分方程式(PDE)は機械学習において広く現れる。 既存のディープラーニング解法はしばしば微分演算子を評価するために繰り返し自動微分に依存する。 データ生成機構として2種類のシミュレータを導入し、基礎となるPDE演算子にアクセス可能な設定下でソリューションとそのデリバティブを学習する「表現型学習」アプローチを採用する。
  論文  参考訳（メタデータ） (2026-06-23T16:04:43Z)
• Algorithmic Guarantees for Distilling Supervised and Offline RL Datasets [16.403657943391188]
  教師あり学習のための効率的なデータセット蒸留アルゴリズムを開発し,解析する。 我々のアルゴリズムは、合成データセットを導出するために、$tildeO(d2)$サンプル回帰器のみが必要であることを証明している。 我々はベルマンの損失と一致させることで,我々のアルゴリズムをオフラインのRLデータセット蒸留に拡張する。
  論文  参考訳（メタデータ） (2025-11-29T16:04:38Z)
• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Prevention of Overfitting on Mesh-Structured Data Regressions with a Modified Laplace Operator [0.0]
  本報告では,メッシュ型データ構造に適用した,データ回帰に対する過度な適合の検出と防止方法について報告する。 メッシュ構造は、雑音のないデータに対して有限差分方式でラプラス演算子二階微分の直接計算を可能にする。
  論文  参考訳（メタデータ） (2025-07-09T07:57:52Z)
• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Loss-to-Loss Prediction: Scaling Laws for All Datasets [17.078832037614397]
  我々は、ある損失を別の損失から予測し、異なる事前学習データセットにわたって予測するためにそれを適用する戦略を導出する。 我々の予測は、曲線に合わせるのに使われた最大のFLOP予算の20倍でさえ、よく表される。
  論文  参考訳（メタデータ） (2024-11-19T23:23:16Z)
• DiffPuter: Empowering Diffusion Models for Missing Data Imputation [56.48119008663155]
  本稿ではDiffPuterについて紹介する。DiffPuterは、データ計算の欠如に対する期待最大化(EM)アルゴリズムと組み合わせた、カスタマイズされた拡散モデルである。 我々の理論的解析は、DiffPuterのトレーニングステップがデータ密度の最大推定値に対応することを示している。 DiffPuterは,最も競争力のある既存手法と比較して,MAEが6.94%,RMSEが4.78%向上した。
  論文  参考訳（メタデータ） (2024-05-31T08:35:56Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• DIVA: Dataset Derivative of a Learning Task [108.18912044384213]
  本稿では,データセットに関する学習課題の微分を計算する手法を提案する。 学習タスクは、トレーニングセットから検証エラーまでの関数であり、トレーニングされたディープニューラルネットワーク(DNN)で表現することができる。 は、トレーニングされたモデルを中心に計算され、各トレーニングサンプルの重みの外れ値がバリデーションエラーにどのように影響するかを知らせる線形演算子である。
  論文  参考訳（メタデータ） (2021-11-18T16:33:12Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks [51.143054943431665]
  本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。 HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。 さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
  論文  参考訳（メタデータ） (2021-02-04T10:00:13Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。