論文の概要: Learning Causal Transition Matrix for Instance-dependent Label Noise

• arxiv url: http://arxiv.org/abs/2412.13516v1
• Date: Wed, 18 Dec 2024 05:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:23:43.936821
• Title: Learning Causal Transition Matrix for Instance-dependent Label Noise
• Title（参考訳）: 事例依存ラベル雑音に対する因果遷移行列の学習
• Authors: Jiahui Li, Tai-Wei Chang, Kun Kuang, Ximing Li, Long Chen, Jun Zhou,
• Abstract要約: ノイズラベルのデータ生成過程を因果的観点から検討する。 観測不能な潜在変数は、インスタンス自身、ラベルアノテーションのプロシージャ、あるいはその両方に影響を与える可能性がある。 我々は、この因果関係を明示的にモデル化する新しいトレーニングフレームワークを設計した。
• 参考スコア（独自算出の注目度）: 40.634344530749324
• License:
• Abstract: Noisy labels are both inevitable and problematic in machine learning methods, as they negatively impact models' generalization ability by causing overfitting. In the context of learning with noise, the transition matrix plays a crucial role in the design of statistically consistent algorithms. However, the transition matrix is often considered unidentifiable. One strand of methods typically addresses this problem by assuming that the transition matrix is instance-independent; that is, the probability of mislabeling a particular instance is not influenced by its characteristics or attributes. This assumption is clearly invalid in complex real-world scenarios. To better understand the transition relationship and relax this assumption, we propose to study the data generation process of noisy labels from a causal perspective. We discover that an unobservable latent variable can affect either the instance itself, the label annotation procedure, or both, which complicates the identification of the transition matrix. To address various scenarios, we have unified these observations within a new causal graph. In this graph, the input instance is divided into a noise-resistant component and a noise-sensitive component based on whether they are affected by the latent variable. These two components contribute to identifying the ``causal transition matrix'', which approximates the true transition matrix with theoretical guarantee. In line with this, we have designed a novel training framework that explicitly models this causal relationship and, as a result, achieves a more accurate model for inferring the clean label.
• Abstract（参考訳）: ノイズラベルは、過剰適合を引き起こすことによってモデルの一般化能力に悪影響を及ぼすため、機械学習手法において必然的かつ問題となる。 ノイズを伴う学習の文脈では、遷移行列は統計的に一貫したアルゴリズムの設計において重要な役割を果たす。 しかし、遷移行列はしばしば不特定であるとみなされる。 あるメソッドのストランドは、遷移行列がインスタンス非依存である、すなわち、特定のインスタンスを誤ってラベル付けする確率は、その特性や属性の影響を受けない、という仮定によって、この問題に対処する。 この仮定は、複雑な実世界のシナリオでは明らかに無効である。 遷移関係をよりよく理解し、この仮定を緩和するために、ノイズラベルのデータ生成過程を因果的観点から研究することを提案する。 我々は、観測不能な潜在変数が、遷移行列の識別を複雑にするインスタンス自身、ラベルアノテーションの手順、あるいはその両方に影響を与えることを発見した。 様々なシナリオに対処するため、我々はこれらの観測を新しい因果グラフにまとめました。 このグラフでは、入力インスタンスを雑音耐性成分と雑音感受性成分とに分割し、遅延変数の影響を受けるか否かを判断する。 これら2つの成分は、理論的な保証とともに真の遷移行列を近似する「因果遷移行列」の同定に寄与する。 これに合わせて、我々は、この因果関係を明示的にモデル化する新しいトレーニングフレームワークを設計し、その結果、クリーンラベルを推論するより正確なモデルを実現した。

関連論文リスト

• Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm [73.94839250910977]
  ノイズの多いマルチラベル学習は、大規模な正確なラベルの収集によって生じる課題により、注目を集めている。 遷移行列の導入は、マルチラベルノイズをモデル化し、統計的に一貫したアルゴリズムの開発に役立つ。 そこで本稿では, アンカーポイントを必要とせずに, ラベル相関を利用した新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-09-22T08:35:38Z)
• Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation [172.81824511381984]
  遷移行列 T(x) は、インスタンス依存ノイズ(IDN)の下では特定できない 我々は、T(x) の幾何学について、「より近い2つのインスタンスは、それに対応する遷移行列がより類似している」という仮定を提案する。 本手法は,難解なIDNの下でのラベルノイズ学習において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-06T04:12:01Z)
• Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
  ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。 構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T10:42:54Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels [86.5943044285146]
  ラベルノイズ遷移行列$T$は、真のラベルがノイズのあるものへと反転する確率を反映する。 本稿では,閉集合と開集合の混在したラベル雑音下での学習に着目した。 本手法は,従来の最先端のラベル雑音学習法よりも頑健な性能を追求し,混合ラベル雑音をモデル化する。
  論文  参考訳（メタデータ） (2020-12-02T02:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。