論文の概要: Aligned Multi-Task Gaussian Process

• arxiv url: http://arxiv.org/abs/2110.15761v1
• Date: Fri, 29 Oct 2021 13:18:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:21:38.665389
• Title: Aligned Multi-Task Gaussian Process
• Title（参考訳）: マルチタスクガウス過程のアライメント
• Authors: Olga Mikheeva, Ieva Kazlauskaite, Adam Hartshorne, Hedvig Kjellstr\"om, Carl Henrik Ek, Neill D. F. Campbell
• Abstract要約: マルチタスク学習では、タスク間の相関を正確に識別する必要がある。 従来のマルチタスクモデルはこれを考慮せず、その後の相関推定における誤差は予測性能の低下をもたらす。 本稿では,予測性能を向上させる統合生成モデルにおいて,時間的不整合を自動的に考慮する手法を提案する。
• 参考スコア（独自算出の注目度）: 12.903751268469696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning requires accurate identification of the correlations between tasks. In real-world time-series, tasks are rarely perfectly temporally aligned; traditional multi-task models do not account for this and subsequent errors in correlation estimation will result in poor predictive performance and uncertainty quantification. We introduce a method that automatically accounts for temporal misalignment in a unified generative model that improves predictive performance. Our method uses Gaussian processes (GPs) to model the correlations both within and between the tasks. Building on the previous work by Kazlauskaiteet al. [2019], we include a separate monotonic warp of the input data to model temporal misalignment. In contrast to previous work, we formulate a lower bound that accounts for uncertainty in both the estimates of the warping process and the underlying functions. Also, our new take on a monotonic stochastic process, with efficient path-wise sampling for the warp functions, allows us to perform full Bayesian inference in the model rather than MAP estimates. Missing data experiments, on synthetic and real time-series, demonstrate the advantages of accounting for misalignments (vs standard unaligned method) as well as modelling the uncertainty in the warping process(vs baseline MAP alignment approach).
• Abstract（参考訳）: マルチタスク学習では,タスク間の相関を正確に識別する必要がある。 実世界の時系列では、タスクは時間的に完全に整列することは滅多になく、従来のマルチタスクモデルではこのことを考慮せず、その後の相関推定におけるエラーは予測性能の低下と不確実な定量化をもたらす。 本稿では,予測性能を向上させる統合生成モデルにおいて,時間的ずれを自動的に考慮する手法を提案する。 本手法は,タスク内およびタスク間の相関をモデル化するためにガウス過程(GP)を用いる。 kazlauskaiteet alによる以前の作品による構築。 [2019]では、時間的不一致をモデル化するための入力データの個別の単調ワープを含む。 従来の研究とは対照的に、ウォーピングプロセスの推定と基礎となる機能の両方の不確実性を考慮した下限を定式化する。 また、ワープ関数の効率的な経路ワイドサンプリングによる単調確率過程への新たな取り組みにより、MAP推定よりもモデルでのベイズ推定をフルに行うことができる。 合成および実時間系列における欠落データ実験は、不正調整(vs標準アンアライメント法)の利点と、ワープ過程(vsベースラインMAPアライメント法)の不確実性をモデル化することの利点を示す。

関連論文リスト

• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Preventing Conflicting Gradients in Neural Marked Temporal Point Processes [2.3020018305241337]
  MTPP(Neural Marked Temporal Point Process)は、ラベル付きイベント間の複雑な時間的相互依存性をキャプチャするフレキシブルモデルである。 MTPPモデルの学習は,両タスクが協調的に最適化されたトレーニング可能なパラメータの共通セットを共有する2タスク学習問題として,フレーム化可能であることを示す。 ニューラルMTPPモデルの新しいパラメトリゼーションを導入し、各タスクのモデリングとトレーニングを分離し、矛盾する勾配の問題を効果的に回避する。
  論文  参考訳（メタデータ） (2024-12-11T18:10:04Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Deep Set Neural Networks for forecasting asynchronous bioprocess timeseries [0.28675177318965045]
  栽培実験はしばしばスパース級数と不規則級数を生成する。 ほとんどの統計的および機械学習ツールは、スパースデータを最初から扱うように設計されていない。 入力データのトリプルトエンコーディングを備えたDeep Set Neural Networksは,計算処理やアライメント処理を必要とせずに,バイオプロセスデータの処理をうまく行うことができることを示す。
  論文  参考訳（メタデータ） (2023-12-04T17:46:57Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Better Batch for Deep Probabilistic Time Series Forecasting [15.31488551912888]
  本稿では,確率的予測精度を高めるために,誤り自己相関を取り入れた新しいトレーニング手法を提案する。 本手法は,モデルトレーニングのためのD$連続時系列セグメントのコレクションとしてミニバッチを構築する。 各ミニバッチ上で時間変化の共分散行列を明示的に学習し、隣接する時間ステップ間の誤差相関を符号化する。
  論文  参考訳（メタデータ） (2023-05-26T15:36:59Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Causal Modeling with Stochastic Confounders [11.881081802491183]
  この作業は、共同設立者との因果推論を拡張します。 本稿では,ランダムな入力空間を持つ表現子定理に基づく因果推論のための変分推定手法を提案する。
  論文  参考訳（メタデータ） (2020-04-24T00:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。