論文の概要: Where is the Truth? The Risk of Getting Confounded in a Continual World
- arxiv url: http://arxiv.org/abs/2402.06434v1
- Date: Fri, 9 Feb 2024 14:24:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 16:40:19.348319
- Title: Where is the Truth? The Risk of Getting Confounded in a Continual World
- Title(参考訳): 真実はどこにある?
連続した世界で結束するリスク
- Authors: Florian Peter Busch, Roshni Kamath, Rupert Mitchell, Wolfgang Stammer,
Kristian Kersting and Martin Mundt
- Abstract要約: データセットは、新しいデータへの一般化に失敗する急激な相関によって、最も容易に解決される場合、構築される。
共同創設者がタスク間で時間的に異なるような継続的な学習環境では、結果として得られる課題が、標準的な忘れる問題を超えていることを示します。
- 参考スコア(独自算出の注目度): 23.165713684792813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A dataset is confounded if it is most easily solved via a spurious
correlation which fails to generalize to new data. We will show that, in a
continual learning setting where confounders may vary in time across tasks, the
resulting challenge far exceeds the standard forgetting problem normally
considered. In particular, we derive mathematically the effect of such
confounders on the space of valid joint solutions to sets of confounded tasks.
Interestingly, our theory predicts that for many such continual datasets,
spurious correlations are easily ignored when the tasks are trained on jointly,
but it is far harder to avoid confounding when they are considered
sequentially. We construct such a dataset and demonstrate empirically that
standard continual learning methods fail to ignore confounders, while training
jointly on all tasks is successful. Our continually confounded dataset, ConCon,
is based on CLEVR images and demonstrates the need for continual learning
methods with more robust behavior with respect to confounding.
- Abstract(参考訳): データセットは、新しいデータへの一般化に失敗したスプリアス相関によって最も容易に解かれる場合に、結合される。
共同ファウンダーがタスク間で時間的に異なるような継続的な学習環境では、結果として生じる課題は、通常考慮される標準の忘れる問題を超えていることを示します。
特に、そのような共同創設者の集合に対する有効な共同解の空間に対する効果を数学的に導出する。
興味深いことに、多くの連続したデータセットにおいて、タスクが共同でトレーニングされた場合、スプリアス相関は容易に無視されるが、それらが逐次的に考慮される場合の結合を避けることは困難である。
このようなデータセットを構築し、標準的な連続学習手法が共同ファウンダーを無視できないことを実証的に証明し、すべてのタスクで共同トレーニングが成功している。
連続的に構築されたデータセットであるConConは、CLEVRイメージに基づいており、コンバウンディングに関してより堅牢な振る舞いを持つ継続的学習方法の必要性を示しています。
関連論文リスト
- CTP: Towards Vision-Language Continual Pretraining via Compatible
Momentum Contrast and Topology Preservation [128.00940554196976]
Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。
VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。
独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
論文 参考訳(メタデータ) (2023-08-14T13:53:18Z) - Seeing is not Believing: Robust Reinforcement Learning against Spurious
Correlation [57.351098530477124]
国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。
このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。
したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
論文 参考訳(メタデータ) (2023-07-15T23:53:37Z) - Uncertainty-Aware Bootstrap Learning for Joint Extraction on
Distantly-Supervised Data [36.54640096189285]
ブートストラップ学習は、インスタンスの不確実性が高ければ高いほど、モデルの信頼性は基礎的な真実と矛盾する可能性が高いという直感によって動機付けられます。
まず、まずインスタンスレベルのデータ不確実性を調べて、信頼度の高い最初の例を作成します。
ブートストラップ学習において,ノイズラベルが生成するモデル間不確実性を軽減するために,正規化器としての自己認識を提案する。
論文 参考訳(メタデータ) (2023-05-05T20:06:11Z) - Continual Learning in the Presence of Spurious Correlation [23.999136417157597]
標準的な連続学習アルゴリズムは、前も後ろも、あるタスクから別のタスクへバイアスを転送できることを示す。
グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,デバイアス対応連続学習のためのプラグイン手法を提案する。
論文 参考訳(メタデータ) (2023-03-21T14:06:12Z) - Towards Federated Long-Tailed Learning [76.50892783088702]
データプライバシとクラス不均衡は、多くの機械学習タスクの例外ではなく、標準である。
最近の試みでは、広範にわたるプライベートデータから学習する問題に対処する一方で、長い尾を持つデータから学ぶことが試みられている。
本稿では,プライバシ保護フェデレーション学習(FL)フレームワークのコンテキスト下での長期的データ分散(LT)学習に焦点を当てた。
論文 参考訳(メタデータ) (2022-06-30T02:34:22Z) - Towards Realistic Single-Task Continuous Learning Research for NER [19.61159414320659]
本稿では、公開データセットの非現実的なデータ特性について論じ、現実的な単一タスク連続学習の課題について考察する。
我々は、既存の公開データセットからCL NERデータセットを構築し、コードとともに研究コミュニティにリリースする。
論文 参考訳(メタデータ) (2021-10-27T18:23:31Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳(メタデータ) (2021-10-13T07:31:31Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳(メタデータ) (2021-04-17T21:34:10Z) - A Wholistic View of Continual Learning with Deep Neural Networks:
Forgotten Lessons and the Bridge to Active and Open World Learning [8.188575923130662]
オープンデータセット認識による顕著な教訓,観測データセット外の統計的逸脱したデータの識別,および近接するアクティブラーニングの分野は,深層学習時代においてしばしば見過ごされる。
我々の結果は、これは個々のパラダイムに利益をもたらすだけでなく、共通のフレームワークにおける自然なシナジーを強調していることを示している。
論文 参考訳(メタデータ) (2020-09-03T16:56:36Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳(メタデータ) (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。