論文の概要: Quantile Activation: Correcting a Failure Mode of ML Models

• arxiv url: http://arxiv.org/abs/2405.11573v2
• Date: Tue, 24 Dec 2024 05:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:52:27.140014
• Title: Quantile Activation: Correcting a Failure Mode of ML Models
• Title（参考訳）: 量子アクティベーション - MLモデルの障害モードの修正
• Authors: Aditya Challa, Sravan Danda, Laurent Najman, Snehanshu Saha,
• Abstract要約: 機械学習モデルの確立された障害モードは、同じ機能がクラス0とクラス1に属する可能性が高い場合に発生する。 可解ケースは、0 と 1 の確率が文脈分布によって変化するときに現れる。 本稿では、計算コストを大幅に増大させることなく、この問題に対処する単純なアクティベーション関数、量子アクティベーション(QACT)を提案する。
• 参考スコア（独自算出の注目度）: 4.035209200949511
• License:
• Abstract: An established failure mode for machine learning models occurs when the same features are equally likely to belong to class 0 and class 1. In such cases, existing ML models cannot correctly classify the sample. However, a solvable case emerges when the probabilities of class 0 and 1 vary with the context distribution. To the best of our knowledge, standard neural network architectures like MLPs or CNNs are not equipped to handle this. In this article, we propose a simple activation function, quantile activation (QACT), that addresses this problem without significantly increasing computational costs. The core idea is to adapt the outputs of each neuron to its context distribution. The proposed quantile activation, QACT, produces the relative quantile of the sample in its context distribution, rather than the actual values, as in traditional networks. A practical example where the same sample can have different labels arises in cases of inherent distribution shift. We validate the proposed activation function under such shifts, using datasets designed to test robustness against distortions : CIFAR10C, CIFAR100C, MNISTC, TinyImagenetC. Our results demonstrate significantly better generalization across distortions compared to conventional classifiers, across various architectures. Although this paper presents a proof of concept, we find that this approach unexpectedly outperforms DINOv2 (small) under large distortions, despite DINOv2 being trained with a much larger network and dataset.
• Abstract（参考訳）: 機械学習モデルの確立された障害モードは、同じ機能がクラス0とクラス1に属する可能性が高い場合に発生する。 このような場合、既存のMLモデルはサンプルを正しく分類することはできない。 しかし、クラス 0 と 1 の確率が文脈分布によって異なるとき、解決可能なケースが現れる。 私たちの知る限りでは、MPPやCNNのような標準的なニューラルネットワークアーキテクチャは、これを扱う能力を持っていません。 本稿では,計算コストを大幅に増大させることなくこの問題に対処する,単純なアクティベーション関数である量子アクティベーション(QACT)を提案する。 中心となる考え方は、それぞれのニューロンの出力を文脈分布に適応させることである。 提案した量子化活性化QACTは、従来のネットワークのように実際の値ではなく、そのコンテキスト分布におけるサンプルの相対量子化を生成する。 同じサンプルが異なるラベルを持つことができる実用的な例は、固有の分布シフトの場合に生じる。 CIFAR10C, CIFAR100C, MNISTC, TinyImagenetC, CIFAR10C, CIFAR100C, CIFAR10C, CIFAR100C, CIFAR10C, TinyImagenetC, CIFAR10C, CIFAR10C, CIFAR10C, CIFAR100C, CIFAR100C, CIFAR10C, CIFAR100C, CIFAR10C, CIFAR100C, TinyImagenetC, CIFAR10C, TinyImagenetC, CIFAR10C, Tiny ImagenetC, CIF, C 本結果は,従来の分類器と比較して,様々なアーキテクチャにおいて,歪みの一般化が著しく向上したことを示す。 本論文では,DINOv2がネットワークとデータセットでトレーニングされているにもかかわらず,DINOv2(小)よりも予期せず大きな歪みで性能が向上することが示唆された。

関連論文リスト

• GHOST: Gaussian Hypothesis Open-Set Technique [10.426399605773083]
  大規模認識手法の評価は通常、全体的な性能に重点を置いている。 オープンセット認識(OSR)における公平性に対処し,クラスごとのパフォーマンスが劇的に変化することを示す。 Zスコア正規化をロジットに適用し、モデルの期待から逸脱する特徴量の影響を軽減する。
  論文  参考訳（メタデータ） (2025-02-05T16:56:14Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Probabilistic Invariant Learning with Randomized Linear Classifiers [24.485477981244593]
  表現的かつ不変だがリソースが少ないランダム性と設計モデルをどのように活用するかを示す。 ランダム化アルゴリズムに着想を得て,Randomized Linears (RLC) と呼ばれる二進分類モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-08T17:18:04Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• Revisiting Sparse Convolutional Model for Visual Recognition [40.726494290922204]
  本稿では,画像分類のためのスパース畳み込みモデルについて再検討する。 CIFAR-10, CIFAR-100, ImageNetデータセット上でも同様に強力な実験性能を示した。
  論文  参考訳（メタデータ） (2022-10-24T04:29:21Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。