論文の概要: OLR-WA Online Regression with Weighted Average

• arxiv url: http://arxiv.org/abs/2307.02804v1
• Date: Thu, 6 Jul 2023 06:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 15:07:07.051564
• Title: OLR-WA Online Regression with Weighted Average
• Title（参考訳）: 平均重み付きOLR-WAオンライン回帰
• Authors: Mohammad Abu-Shaira and Greg Speegle
• Abstract要約: 機械学習モデルをトレーニングするための新しいオンライン線形回帰手法を導入する。 導入されたモデルはOLR-WAと呼ばれ、データ変更時に柔軟性を提供するためにユーザ定義の重みを使用する。 一貫性のあるデータに対して、OLR-WAと静的バッチモデルも同様に、そして様々なデータに対して、ユーザがOLR-WAをより迅速に適応するように設定したり、変更に抵抗したりすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning requires a large amount of training data in order to build accurate models. Sometimes the data arrives over time, requiring significant storage space and recalculating the model to account for the new data. On-line learning addresses these issues by incrementally modifying the model as data is encountered, and then discarding the data. In this study we introduce a new online linear regression approach. Our approach combines newly arriving data with a previously existing model to create a new model. The introduced model, named OLR-WA (OnLine Regression with Weighted Average) uses user-defined weights to provide flexibility in the face of changing data to bias the results in favor of old or new data. We have conducted 2-D and 3-D experiments comparing OLR-WA to a static model using the entire data set. The results show that for consistent data, OLR-WA and the static batch model perform similarly and for varying data, the user can set the OLR-WA to adapt more quickly or to resist change.
• Abstract（参考訳）: 機械学習は正確なモデルを構築するために大量のトレーニングデータを必要とする。 時にデータが時間とともに到着し、大きなストレージスペースを必要とし、新しいデータを説明するためにモデルを再計算する。 オンライン学習は、データが発生したときにモデルを漸進的に修正し、データを捨てることで、これらの問題に対処する。 本研究では,新しいオンライン線形回帰手法を提案する。 このアプローチでは、新たに到着したデータと既存のモデルを組み合わせて、新しいモデルを作成します。 olr-wa (online regression with weighted average) と名付けられたこのモデルでは,ユーザ定義の重み付けを使用して,データ変更に対する柔軟性を提供して,結果のバイアスを古いデータや新しいデータに置き換える。 我々は,OLR-WAをデータセット全体を用いた静的モデルと比較した2次元および3次元実験を行った。 その結果、一貫性のあるデータの場合、olr-waと静的バッチモデルも同様に動作し、異なるデータの場合、ユーザーはolr-waをより迅速に適応させるか、変更に抵抗するように設定できる。

関連論文リスト

• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。 我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。 ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Backward Compatibility During Data Updates by Weight Interpolation [17.502410289568587]
  データ更新時の回帰問題について検討し、後方対応型重み補間法(BCWI)を提案する。 BCWIは、新しいモデルの精度の向上を犠牲にすることなく、負のフリップを減らす。 また,複数の新モデルの重み付けにおける重み付けと平均化による負のフリップの低減についても検討する。
  論文  参考訳（メタデータ） (2023-01-25T12:23:10Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Machine Unlearning Method Based On Projection Residual [23.24026891609028]
  本稿ではニュートン法に基づく投射残差法を採用する。 主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。 実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
  論文  参考訳（メタデータ） (2022-09-30T07:29:55Z)
• DeepVARwT: Deep Learning for a VAR Model with Trend [1.9862987223379664]
  本稿では,トレンドと依存構造を最大限に推定するために,ディープラーニング手法を用いた新しい手法を提案する。 この目的のためにLong Short-Term Memory (LSTM) ネットワークが使用される。 シミュレーション研究と実データへの適用について述べる。
  論文  参考訳（メタデータ） (2022-09-21T18:23:03Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting [0.8399688944263843]
  データモデリングのために選択されたモデルが(線形/非線形、静的/動的)異なるモデルと独立(最小相関)モデルである場合、予測の精度が向上することが知られている。 アンサンブルモデルを重み付けするために文献で提案された様々なアプローチは、静的な重みセットを使用する。 この問題に対処するため、Reinforcement Learning (RL)アプローチでは、各モデルの重み付けを異なるタイミングで動的に割り当て、更新する。
  論文  参考訳（メタデータ） (2020-08-20T10:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。