論文の概要: Theoretically Guaranteed Distribution Adaptable Learning

• arxiv url: http://arxiv.org/abs/2411.02921v1
• Date: Tue, 05 Nov 2024 09:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:18.494488
• Title: Theoretically Guaranteed Distribution Adaptable Learning
• Title（参考訳）: 理論的に保証された分布適応学習
• Authors: Chao Xu, Xijia Tang, Guoqing Liu, Yuhua Qian, Chenping Hou,
• Abstract要約: 分散適応学習(DAL)と呼ばれる新しいフレームワークを提案する。 DALは、進化するデータ分散を効果的に追跡することを可能にする。 進化する分布を調節する上で、DALの再利用性と進化性を高めることができる。
• 参考スコア（独自算出の注目度）: 23.121014921407898
• License:
• Abstract: In many open environment applications, data are collected in the form of a stream, which exhibits an evolving distribution over time. How to design algorithms to track these evolving data distributions with provable guarantees, particularly in terms of the generalization ability, remains a formidable challenge. To handle this crucial but rarely studied problem and take a further step toward robust artificial intelligence, we propose a novel framework called Distribution Adaptable Learning (DAL). It enables the model to effectively track the evolving data distributions. By Encoding Feature Marginal Distribution Information (EFMDI), we broke the limitations of optimal transport to characterize the environmental changes and enable model reuse across diverse data distributions. It can enhance the reusable and evolvable properties of DAL in accommodating evolving distributions. Furthermore, to obtain the model interpretability, we not only analyze the generalization error bound of the local step in the evolution process, but also investigate the generalization error bound associated with the entire classifier trajectory of the evolution based on the Fisher-Rao distance. For demonstration, we also present two special cases within the framework, together with their optimizations and convergence analyses. Experimental results over both synthetic and real-world data distribution evolving tasks validate the effectiveness and practical utility of the proposed framework.
• Abstract（参考訳）: 多くのオープン環境アプリケーションでは、データはストリームの形式で収集され、時間とともに進化する分布を示す。 これらの進化するデータ分布を、特に一般化能力の観点から証明可能な保証で追跡するアルゴリズムを設計する方法は、依然として大きな課題である。 この重要な課題に対処するために,我々はDAL(Distributed Adaptable Learning)と呼ばれる新しいフレームワークを提案する。 これにより、モデルが進化するデータ分散を効果的に追跡できる。 EFMDI(Feature Marginal Distribution Information)を符号化することにより,環境変化を特徴付けるための最適輸送の限界を突破し,多様なデータ分布をまたいだモデル再利用を可能にした。 進化する分布を調節する上で、DALの再利用性と進化性を高めることができる。 さらに、モデル解釈可能性を得るために、進化過程における局所ステップの一般化誤差を解析するだけでなく、フィッシャー・ラオ距離に基づく進化の分類器軌道全体に関連する一般化誤差も調べる。 実演では、フレームワーク内での最適化と収束解析の2つの特別なケースも提示する。 提案手法の有効性と実用性を検証するために, 実世界のデータ分散進化タスクを併用した実験結果を得た。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
  本稿では,非定常環境における領域一般化について検討する。 まず,環境非定常性がモデル性能に及ぼす影響について検討する。 そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-10T21:32:43Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
  我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• Transferring model structure in Bayesian transfer learning for Gaussian process regression [1.370633147306388]
  本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。 この最適意思決定問題を解決するために、完全な確率的設計が採用されている。 ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
  論文  参考訳（メタデータ） (2021-01-18T05:28:02Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• I-SPEC: An End-to-End Framework for Learning Transportable, Shift-Stable Models [6.802401545890963]
  開発とデプロイメントの間の環境の変化により、古典的な教師あり学習は、新たなターゲット分布への一般化に失敗するモデルを生成する。 我々は、データを用いて部分祖先グラフ(PAG)を学習することで、この欠点に対処するエンドツーエンドフレームワークであるI-SPECを提案する。 我々は、I-SPECを死亡予測問題に適用し、完全な因果DAGの事前知識を必要とせずに、シフトに頑健なモデルを学ぶことができることを示す。
  論文  参考訳（メタデータ） (2020-02-20T18:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。