論文の概要: Source Component Shift Adaptation via Offline Decomposition and Online Mixing Approach

• arxiv url: http://arxiv.org/abs/2508.10257v1
• Date: Thu, 14 Aug 2025 00:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.147031
• Title: Source Component Shift Adaptation via Offline Decomposition and Online Mixing Approach
• Title（参考訳）: オフライン分解とオンライン混合によるソース成分シフト適応
• Abstract要約: オフライン分解とオンライン混合によるソースコンポーネントシフト適応手法を提案する。 本手法はシフト特性をフル活用し,既存手法よりも優れた適応性能を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses source component shift adaptation, aiming to update predictions adapting to source component shifts for incoming data streams based on past training data. Existing online learning methods often fail to utilize recurring shifts effectively, while model-pool-based methods struggle to capture individual source components, leading to poor adaptation. In this paper, we propose a source component shift adaptation method via an offline decomposition and online mixing approach. We theoretically identify that the problem can be divided into two subproblems: offline source component decomposition and online mixing weight adaptation. Based on this, our method first determines prediction models, each of which learns a source component solely based on past training data offline through the EM algorithm. Then, it updates the mixing weight of the prediction models for precise prediction through online convex optimization. Thanks to our theoretical derivation, our method fully leverages the characteristics of the shifts, achieving superior adaptation performance over existing methods. Experiments conducted on various real-world regression datasets demonstrate that our method outperforms baselines, reducing the cumulative test loss by up to 67.4%.
• Abstract（参考訳）: 本稿では、過去のトレーニングデータに基づいて、入力データストリームのソースコンポーネントシフトに対応する予測を更新することを目的として、ソースコンポーネントシフト適応に対処する。 既存のオンライン学習手法は繰り返しのシフトを効果的に利用できないことが多いが、モデルプールベースの手法は個々のソースコンポーネントを捕捉するのに苦労し、適応性は低下する。 本稿では,オフライン分解とオンライン混合によるソースコンポーネントシフト適応手法を提案する。 理論的には、この問題はオフラインソース成分分解とオンライン混合重量適応の2つのサブプロブレムに分けることができる。 そこで本手法はまず,EMアルゴリズムを用いて過去のトレーニングデータのみに基づいてソースコンポーネントを学習する予測モデルを決定する。 そして、オンライン凸最適化により正確な予測を行うための予測モデルの混合重みを更新する。 理論的導出により,本手法はシフト特性を完全に活用し,既存手法よりも優れた適応性能を実現する。 実世界のレグレッションデータセットを用いて行った実験は,本手法がベースラインを上回り,累積的なテスト損失を67.4%削減することを示した。

関連論文リスト

• Data Mixing for Large Language Models Pretraining: A Survey and Outlook [52.66761353708619]
  大規模言語モデル(LLM)は、大規模で不均一なコーパスの事前訓練に依存している。 サンプルレベルのデータ選択とは異なり、データミキシングはドメインレベルのサンプリング重量を最適化し、限られた予算をより効率的に割り当てる。 本稿では,LLM事前学習におけるデータ混合の総合的な検討について述べる。
  論文  参考訳（メタデータ） (2026-03-25T13:30:40Z)
• Uncertainty Guided Online Ensemble for Non-stationary Data Streams in Fusion Science [3.6886967341942785]
  本稿では,トロイダルフィールドコイルの偏向予測のためのドリフトデータストリームへのオンライン学習の適用について述べる。 従来のオンライン学習は、予測を行う前に基礎的な真実が利用できないため、短期的なパフォーマンス劣化に悩まされる可能性がある。 本稿では,パフォーマンス向上のための不確実性誘導型オンラインアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2025-11-03T22:03:37Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation [5.013248430919224]
  デバイス上でのドメイン適応を効率的に行うためのハイブリッドトレーニング手法を提案する。 この方法は、バックプロパゲーションを使用してオフラインでトレーニングされたディープニューラルネットワークから始まる。 予測符号化はオンライン適応に使用されており、入力データ分布の変化によって失われた精度を復元することができる。
  論文  参考訳（メタデータ） (2025-09-24T16:03:27Z)
• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
  オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
  論文  参考訳（メタデータ） (2024-08-14T12:40:57Z)
• Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
  本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。 オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。 提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
  論文  参考訳（メタデータ） (2024-08-05T03:18:58Z)
• Align, Minimize and Diversify: A Source-Free Unsupervised Domain Adaptation Method for Handwritten Text Recognition [11.080302144256164]
  Align, Minimize and Diversify (AMD) は、手書き文字認識(HTR)のための非教師なし領域適応手法である。 本手法は,3つの異なる正規化項を組み込むことで,適応中のソースデータの再検討の必要性を明確に排除する。 いくつかのベンチマークによる実験の結果、AMDの有効性とロバスト性を示し、HTRにおけるDA法よりも競争力があり、しばしば優れていた。
  論文  参考訳（メタデータ） (2024-04-28T17:50:58Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
  既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。 一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。 我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-05T00:42:35Z)
• Unsupervised Audio Source Separation Using Differentiable Parametric Source Models [8.80867379881193]
  本研究では,教師なしモデルに基づく深層学習手法を提案する。 ニューラルネットワークは、観測された混合物をソースの和として再構成するように訓練される。 音声アンサンブル分離タスクの実験評価により,提案手法が学習自由法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-24T11:05:30Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。