論文の概要: Epistemic Errors of Imperfect Multitask Learners When Distributions Shift

• arxiv url: http://arxiv.org/abs/2505.23496v1
• Date: Thu, 29 May 2025 14:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.909691
• Title: Epistemic Errors of Imperfect Multitask Learners When Distributions Shift
• Title（参考訳）: 不完全なマルチタスク学習者の分布変化における認識誤差
• Authors: Sabina J. Sloman, Michele Caprio, Samuel Kaski,
• Abstract要約: データが騒々しい場合、統計的学習者の目標は、テスト時に遭遇するデータに関する不確実性を解決することである。 多くの実世界の学習環境は、トレーニング(ソース)データだけでは解決できない不確実性の源を導入している。
• 参考スコア（独自算出の注目度）: 17.957364289876548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When data are noisy, a statistical learner's goal is to resolve epistemic uncertainty about the data it will encounter at test-time, i.e., to identify the distribution of test (target) data. Many real-world learning settings introduce sources of epistemic uncertainty that can not be resolved on the basis of training (source) data alone: The source data may arise from multiple tasks (multitask learning), the target data may differ systematically from the source data tasks (distribution shift), and/or the learner may not arrive at an accurate characterization of the source data (imperfect learning). We introduce a principled definition of epistemic error, and provide a generic, decompositional epistemic error bound. Our error bound is the first to (i) consider epistemic error specifically, (ii) accommodate all the sources of epistemic uncertainty above, and (iii) separately attribute the error to each of multiple aspects of the learning procedure and environment. As corollaries of the generic result, we provide (i) epistemic error bounds specialized to the settings of Bayesian transfer learning and distribution shift within $\epsilon$-neighborhoods, and (ii) a set of corresponding generalization bounds. Finally, we provide a novel definition of negative transfer, and validate its insights in a synthetic experimental setting.
• Abstract（参考訳）: データがノイズの多い場合、統計的学習者の目標は、テスト時に遭遇するデータ、すなわちテスト(ターゲット)データの分布を特定することで、疫学的な不確実性を解決することである。 ソースデータは、複数のタスク(マルチタスク学習)から発生し、ターゲットデータは、ソースデータタスクと体系的に異なる場合(配信シフト)、および/または学習者がソースデータの正確な特徴(完全学習)に到達しない場合である。 本稿では, 先天的エラーの原則的定義を導入し, 総合的, 分解的な先天的エラー境界を提供する。 私たちのエラーバウンドは最初のものです (i)特にてんかんの誤りを考える 二 先天的不確実性の原因の全てを収容し、 三 学習手順及び環境の複数の側面のそれぞれに誤差を別々に属性付けする。 一般的な結果のまとめとして、私たちは (i)ベイズ移動学習の設定に特有なてんかんエラー境界及び$\epsilon$-neighborhoodsの範囲内における分布シフト (ii)対応する一般化境界の集合。 最後に、負転移の新たな定義を提供し、その知見を合成実験環境で検証する。

関連論文リスト

• Towards a Unified Theory for Semiparametric Data Fusion with Individual-Level Data [1.0650780147044159]
  本研究では,様々な独立した情報源からの個人レベルのデータを活用することで,滑らかな有限次元パラメータに関する推論を行うという目的に対処する。 近年の進歩により、異なるデータソースが結合対象分布の単一因数分解の条件分布の、おそらくは別個のサブセットと整合するシナリオを扱うことができる包括的理論が発展してきた。 我々は、上記の包括的理論を拡張し、対象分布の単一因数分解に対応しない条件分布に整合したソースからの個々のレベルデータの融合を可能にする。
  論文  参考訳（メタデータ） (2024-09-16T04:10:44Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
  模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。 我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。 我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-13T07:31:31Z)
• TRAPDOOR: Repurposing backdoors to detect dataset bias in machine learning-based genomic analysis [15.483078145498085]
  データセット内のグループの下位表現は、特定のグループの不正確な予測につながる可能性があるため、システム的識別問題を悪化させる可能性がある。 本稿では,ニューラルネットワークのバックドアであるTRAPDOORを提案する。 実世界のがんデータセットを用いて、すでに白人個人に対して存在するバイアスでデータセットを分析し、データセットにバイアスを人工的に導入する。
  論文  参考訳（メタデータ） (2021-08-14T17:02:02Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。