論文の概要: Transfer-Learning Across Datasets with Different Input Dimensions: An Algorithm and Analysis for the Linear Regression Case

• arxiv url: http://arxiv.org/abs/2202.05069v3
• Date: Mon, 23 Oct 2023 09:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 15:15:15.605598
• Title: Transfer-Learning Across Datasets with Different Input Dimensions: An Algorithm and Analysis for the Linear Regression Case
• Title（参考訳）: 入力次元の異なるデータセット間でのトランスファーラーニング--線形回帰のアルゴリズムと解析
• Authors: Luis Pedro Silvestrin, Harry van Zanten, Mark Hoogendoorn, Ger Koole
• Abstract要約: 本稿では,新しいデータと過去のデータを異なる入力次元で組み合わせた転送学習アルゴリズムを提案する。 提案手法は,9つの実生活データセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 7.674023644408741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the development of new sensors and monitoring devices, more sources of data become available to be used as inputs for machine learning models. These can on the one hand help to improve the accuracy of a model. On the other hand, combining these new inputs with historical data remains a challenge that has not yet been studied in enough detail. In this work, we propose a transfer learning algorithm that combines new and historical data with different input dimensions. This approach is easy to implement, efficient, with computational complexity equivalent to the ordinary least-squares method, and requires no hyperparameter tuning, making it straightforward to apply when the new data is limited. Different from other approaches, we provide a rigorous theoretical study of its robustness, showing that it cannot be outperformed by a baseline that utilizes only the new data. Our approach achieves state-of-the-art performance on 9 real-life datasets, outperforming the linear DSFT, another linear transfer learning algorithm, and performing comparably to non-linear DSFT.
• Abstract（参考訳）: 新しいセンサーと監視デバイスの開発により、より多くのデータソースが機械学習モデルの入力として利用できるようになる。 これらは一方、モデルの精度を向上させるのに役立ちます。 一方で、これらの新しい入力と過去のデータを組み合わせることは、まだ十分に研究されていない課題である。 本研究では,新しいデータと過去のデータを異なる入力次元で組み合わせた移動学習アルゴリズムを提案する。 このアプローチは、通常の最小二乗法と同等の計算複雑性で実装が容易で、ハイパーパラメータチューニングを必要としないため、新しいデータが制限された場合に簡単に適用できる。 他のアプローチとは異なり、その頑健性に関する厳密な理論的研究を行い、新しいデータのみを利用するベースラインで比較することはできないことを示した。 提案手法は,9つの実生活データセット上での最先端性能を実現し,線形移動学習アルゴリズムである線形DSFTより優れ,非線形DSFTと互換性のある性能を実現する。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• Contrastive Left-Right Wearable Sensors (IMUs) Consistency Matching for HAR [0.0]
  変換なしに、実際のデータを自己教師型学習にどのように使用できるかを示す。 我々のアプローチには、2つの異なるセンサーのコントラストマッチングが含まれる。 我々はオポチュニティとMM-Fitデータセットに対するアプローチを検証した。
  論文  参考訳（メタデータ） (2023-11-21T15:31:16Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Learning new physics efficiently with nonparametric methods [11.970219534238444]
  モデルに依存しない新しい物理探索のための機械学習手法を提案する。 対応するアルゴリズムは、最近のカーネルメソッドの大規模実装によって実現されている。 トレーニング時間や計算資源の観点から、ニューラルネットワークの実装と比較して、我々のアプローチは劇的なアドバンテージがあることが示される。
  論文  参考訳（メタデータ） (2022-04-05T16:17:59Z)
• Learning ODE Models with Qualitative Structure Using Gaussian Processes [0.6882042556551611]
  多くのコンテキストにおいて、明示的なデータ収集は高価であり、学習アルゴリズムはデータ効率が良くなければならない。 スパースガウス過程を用いて微分方程式のベクトル場を学習する手法を提案する。 この組み合わせにより,外挿性能と長期的挙動が大幅に向上し,計算コストの低減が図られる。
  論文  参考訳（メタデータ） (2020-11-10T19:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。