論文の概要: GenKL: An Iterative Framework for Resolving Label Ambiguity and Label
Non-conformity in Web Images Via a New Generalized KL Divergence
- arxiv url: http://arxiv.org/abs/2307.09810v1
- Date: Wed, 19 Jul 2023 07:58:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 14:57:22.942238
- Title: GenKL: An Iterative Framework for Resolving Label Ambiguity and Label
Non-conformity in Web Images Via a New Generalized KL Divergence
- Title（参考訳）: GenKL: Web画像におけるラベルの曖昧さとラベルの非整合性を解決するための反復的フレームワーク
- Authors: Xia Huang, Kai Fong Ernest Chong
- Abstract要約: ノンコンフォーミング(NC)インスタンスの負の効果を緩和するための最近のアプローチでは、中核的な暗黙の仮定は、NCインスタンスはエントロピーによって見つけることができるということである。
本稿では,インスタンスの識別とリラベルを行う新しいトレーニングフレームワークであるGenKLを紹介する。
3つのWebイメージデータセットで評価すると、新しい最先端の分類精度が得られる。
- 参考スコア（独自算出の注目度）: 7.9496722543770515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Web image datasets curated online inherently contain ambiguous
in-distribution (ID) instances and out-of-distribution (OOD) instances, which
we collectively call non-conforming (NC) instances. In many recent approaches
for mitigating the negative effects of NC instances, the core implicit
assumption is that the NC instances can be found via entropy maximization. For
"entropy" to be well-defined, we are interpreting the output prediction vector
of an instance as the parameter vector of a multinomial random variable, with
respect to some trained model with a softmax output layer. Hence, entropy
maximization is based on the idealized assumption that NC instances have
predictions that are "almost" uniformly distributed. However, in real-world web
image datasets, there are numerous NC instances whose predictions are far from
being uniformly distributed. To tackle the limitation of entropy maximization,
we propose $(\alpha, \beta)$-generalized KL divergence,
$\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$, which can be used to identify
significantly more NC instances. Theoretical properties of
$\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$ are proven, and we also show
empirically that a simple use of $\mathcal{D}_{\text{KL}}^{\alpha,
\beta}(p\|q)$ outperforms all baselines on the NC instance identification task.
Building upon $(\alpha,\beta)$-generalized KL divergence, we also introduce a
new iterative training framework, GenKL, that identifies and relabels NC
instances. When evaluated on three web image datasets, Clothing1M,
Food101/Food101N, and mini WebVision 1.0, we achieved new state-of-the-art
classification accuracies: $81.34\%$, $85.73\%$ and $78.99\%$/$92.54\%$
(top-1/top-5), respectively.
- Abstract（参考訳）: オンラインでキュレートされたWebイメージデータセットには、本質的に不明瞭なin-distribution(ID)インスタンスとout-of-distribution(OOD)インスタンスが含まれています。
NCインスタンスの負の効果を緩和するための最近の多くのアプローチにおいて、核となる暗黙の仮定は、NCインスタンスはエントロピーの最大化によって発見できるということである。
エントロピー」が適切に定義されるためには、ソフトマックス出力層を持つ訓練モデルに関して、インスタンスの出力予測ベクトルを多項確率変数のパラメータベクトルとして解釈する。
したがって、エントロピーの最大化は、NCインスタンスが「ほぼ」均一に分布する予測を持つという理想的な仮定に基づいている。
しかし、現実世界のWeb画像データセットには、予測が均一に分散されるには程遠いNCインスタンスが多数存在する。
エントロピーの最大化の限界に対処するため、より多くのNCインスタンスを特定できる$(\alpha, \beta)$- Generalized KL divergence, $\mathcal{D}_{\text{KL}}^{\alpha, \beta}(p\|q)$を提案する。
理論的な特性として、$\mathcal{d}_{\text{kl}}^{\alpha, \beta}(p\|q)$ が証明されており、また、$\mathcal{d}_{\text{kl}}^{\alpha, \beta}(p\|q)$ が nc インスタンス識別タスクのすべてのベースラインを上回ることを経験的に示す。
また、$(\alpha,\beta)$-generalized kl divergenceに基づいて、relabel ncインスタンスを識別し、relabelsする新しい反復学習フレームワークgenklも導入します。
Clothing1M, Food101/Food101N, mini WebVision 1.0の3つのWebイメージデータセットで評価すると,それぞれ8.34\%$,8.73\%$,78.99\%$/92.54\%$ (top-1/top-5)という,新しい最先端の分類精度を達成した。
関連論文リスト
- Biology-inspired joint distribution neurons based on Hierarchical Correlation Reconstruction allowing for multidirectional neural networks [0.49728186750345144]
HCRを用いた新しい人工ニューロン(階層的相関再構成)
ネットワークはまた $rho(y,z|x) のような確率分布(ジョイント)を伝播することもできる。
論文 参考訳（メタデータ） (2024-05-08T14:49:27Z) - Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。
これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。
CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
論文 参考訳（メタデータ） (2024-03-23T03:57:28Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - GRASP: A Goodness-of-Fit Test for Classification Learning [8.122270502556374]
標準測度であるにもかかわらず、平均精度は、特徴ベクトル(Y|X$)が与えられたラベルの基本的な条件法則にモデルを適合させるのに失敗する。
我々のフレームワークは条件付き法則$Y|X$のパラメトリックな仮定を一切行わず、クエリを通してのみアクセス可能なブラックボックスオラクルモデルとして扱う。
論文 参考訳（メタデータ） (2022-09-05T17:18:43Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - $\alpha$-Stable convergence of heavy-tailed infinitely-wide neural
networks [8.880921123362294]
無限幅多層パーセプトロン(MLP)は、標準フィードフォワードニューラルネットワークの限界である。
与えられた隠蔽層の全ノードにおけるプレアクティベーション値のベクトルは、その極限に収束することを示す。
論文 参考訳（メタデータ） (2021-06-18T01:36:41Z) - Adjusted chi-square test for degree-corrected block models [13.122543280692641]
次数補正ブロックモデル(DCSBM)の適合性テストを提案する。
単純な調整により、$d_i$ の調和平均が無限に成長する限り、統計は null の下で分布に収束する。
我々の分布結果は漸近的ではなく、明示的な定数を持ち、目標分布へのコルモゴロフ-スミルノフ距離の有限サンプル境界を与える。
論文 参考訳（メタデータ） (2020-12-30T05:20:59Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z) - Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning [175.34232468746245]
本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。
これは一般に計算が難しい統計量の計算を可能にする。
このパラメータ化のための2つの独立したユースケースを示す。
論文 参考訳（メタデータ） (2020-02-20T22:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。