論文の概要: Quantile Activation: departing from single point estimation for better generalization across distortions
- arxiv url: http://arxiv.org/abs/2405.11573v1
- Date: Sun, 19 May 2024 14:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 15:12:36.333936
- Title: Quantile Activation: departing from single point estimation for better generalization across distortions
- Title（参考訳）: 量子活性化:歪みをまたいだより良い一般化のための単一点推定から逸脱する
- Authors: Aditya Challa, Sravan Danda, Laurent Najman, Snehanshu Saha,
- Abstract要約: 我々は、分布をまたいだ一般化を得るために、この基本概念から離れなければならないと論じている。
サンプルのクラスは、分布をまたいだより良い一般化のために、コンテキスト分布の点に依存するべきである。
本稿では,従来のネットワークの実際の値の代わりに,サンプルの相対的量子化をその文脈分布で出力する量子化活性化QACTを提案する。
- 参考スコア（独自算出の注目度）: 4.035209200949511
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A classifier is, in its essence, a function which takes an input and returns the class of the input and implicitly assumes an underlying distribution. We argue in this article that one has to move away from this basic tenet to obtain generalisation across distributions. Specifically, the class of the sample should depend on the points from its context distribution for better generalisation across distributions. How does one achieve this? The key idea is to adapt the outputs of each neuron of the network to its context distribution. We propose quantile activation, QACT, which, in simple terms, outputs the relative quantile of the sample in its context distribution, instead of the actual values in traditional networks. The scope of this article is to validate the proposed activation across several experimental settings, and compare it with conventional techniques. For this, we use the datasets developed to test robustness against distortions CIFAR10C, CIFAR100C, MNISTC, TinyImagenetC, and show that we achieve a significantly higher generalisation across distortions than the conventional classifiers, across different architectures. Although this paper is only a proof of concept, we surprisingly find that this approach outperforms DINOv2(small) at large distortions, even though DINOv2 is trained with a far bigger network on a considerably larger dataset.
- Abstract（参考訳）: 分類器は本質的には、入力を受け取り、入力のクラスを返却し、基盤となる分布を暗黙的に仮定する関数である。
この記事では、分布をまたいだ一般化を得るためには、この基本概念から離れなければならないと論じる。
具体的には、サンプルのクラスは、分布をまたいだより良い一般化のために、そのコンテキスト分布の点に依存するべきである。
これを実現するにはどうすればいいのか?
鍵となる考え方は、ネットワークの各ニューロンの出力を、そのコンテキスト分布に適応させることである。
本稿では、従来のネットワークの実際の値の代わりに、サンプルの相対的な量子化をその文脈分布で出力する量子化活性化QACTを提案する。
本研究の目的は,いくつかの実験環境において提案される活性化を検証し,従来の手法と比較することである。
そこで本研究では,CIFAR10C,CIFAR100C,MNISTC,TinyImagenetCの歪みに対するロバスト性をテストするために開発されたデータセットを用いて,従来の分類器よりもはるかに高い一般化を実現していることを示す。
この論文は単なる概念実証に過ぎないが、DINOv2ははるかに大きなデータセット上で、はるかに大きなネットワークで訓練されているにもかかわらず、大きな歪みでDINOv2(小)よりも優れているという驚くべき結果が得られた。
関連論文リスト
- GHOST: Gaussian Hypothesis Open-Set Technique [10.426399605773083]
大規模認識手法の評価は通常、全体的な性能に重点を置いている。
オープンセット認識(OSR)における公平性に対処し,クラスごとのパフォーマンスが劇的に変化することを示す。
Zスコア正規化をロジットに適用し、モデルの期待から逸脱する特徴量の影響を軽減する。
論文 参考訳（メタデータ） (2025-02-05T16:56:14Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Probabilistic Invariant Learning with Randomized Linear Classifiers [24.485477981244593]
表現的かつ不変だがリソースが少ないランダム性と設計モデルをどのように活用するかを示す。
ランダム化アルゴリズムに着想を得て,Randomized Linears (RLC) と呼ばれる二進分類モデルを提案する。
論文 参考訳（メタデータ） (2023-08-08T17:18:04Z) - Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。
1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。
2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
論文 参考訳（メタデータ） (2022-11-21T09:42:15Z) - Revisiting Sparse Convolutional Model for Visual Recognition [40.726494290922204]
本稿では,画像分類のためのスパース畳み込みモデルについて再検討する。
CIFAR-10, CIFAR-100, ImageNetデータセット上でも同様に強力な実験性能を示した。
論文 参考訳（メタデータ） (2022-10-24T04:29:21Z) - Characterizing and Understanding the Behavior of Quantized Models for
Reliable Deployment [32.01355605506855]
量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。
診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。
我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
論文 参考訳（メタデータ） (2022-04-08T11:19:16Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。