Fugu-MT 論文翻訳(概要): On the rate of convergence of a classifier based on a Transformer encoder

論文の概要: On the rate of convergence of a classifier based on a Transformer encoder

arxiv url: http://arxiv.org/abs/2111.14574v1
Date: Mon, 29 Nov 2021 14:58:29 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 22:32:51.388705
Title: On the rate of convergence of a classifier based on a Transformer encoder
Title（参考訳）: Transformerエンコーダに基づく分類器の収束率について
Authors: Iryna Gurevych, Michael Kohler, G\"ozde G\"ul Sahin
Abstract要約: 最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
参考スコア（独自算出の注目度）: 55.41148606254641
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pattern recognition based on a high-dimensional predictor is considered. A classifier is defined which is based on a Transformer encoder. The rate of convergence of the misclassification probability of the classifier towards the optimal misclassification probability is analyzed. It is shown that this classifier is able to circumvent the curse of dimensionality provided the aposteriori probability satisfies a suitable hierarchical composition model. Furthermore, the difference between Transformer classifiers analyzed theoretically in this paper and Transformer classifiers used nowadays in practice are illustrated by considering classification problems in natural language processing.
Abstract（参考訳）: 高次元予測器に基づくパターン認識を考える。分類器はTransformerエンコーダに基づいて定義される。最適誤分類確率に対する分類器の誤分類確率の収束率を解析する。この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。さらに,本論文で理論的に解析したTransformer分類器と,現在使用されているTransformer分類器との差を,自然言語処理における分類問題を考慮し示す。

関連論文リスト

Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier [0.0]
変圧器ニューラルネットワーク層の出力表現におけるロジスティック回帰は、言語モデルの構文特性の探索に最もよく用いられる。本研究では, 変圧器層の出力表現におけるロジスティック回帰を用いた場合よりも, 知識ニューロン層での勾配向上決定木を用いた方が有利であることを示す。
論文参考訳（メタデータ） (2023-12-17T15:37:03Z)
Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文参考訳（メタデータ） (2023-05-17T17:47:19Z)
Soft-margin classification of object manifolds [0.0]
単一対象の複数の出現に対応する神経集団は、神経応答空間における多様体を定義する。そのような多様体を分類する能力は、オブジェクト認識やその他の計算タスクは多様体内の変数に無関心な応答を必要とするため、興味がある。ソフトマージン分類器は、より大きなアルゴリズムのクラスであり、トレーニングセット外のパフォーマンスを最適化するためにアプリケーションで使われる追加の正規化パラメータを提供する。
論文参考訳（メタデータ） (2022-03-14T12:23:36Z)
Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
論文参考訳（メタデータ） (2021-12-14T08:25:24Z)
Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers [82.5915112474988]
本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
論文参考訳（メタデータ） (2021-10-01T17:50:46Z)
When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。多様な分類課題にまたがってその効果を実証的に示す。
論文参考訳（メタデータ） (2021-09-28T02:55:42Z)
A Multiple Classifier Approach for Concatenate-Designed Neural Networks [13.017053017670467]
私たちは、ネットワークセット間で生成された特徴を収集する分類器の設計を与えます。我々はL2正規化法を用いて、Softmax Denseの代わりに分類スコアを得る。その結果、提案された分類器は実験ケースの精度を向上させることができる。
論文参考訳（メタデータ） (2021-01-14T04:32:40Z)
Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:57:43Z)
Quantifying the Uncertainty of Precision Estimates for Rule based Text Classifiers [0.0]
キーサブストリングの存在と欠如を利用して分類決定を行うルールベースの分類器は、それらの精度の不確かさを定量化する自然なメカニズムを持つ。バイナリ分類器にとって重要な洞察は、文書によって誘導される部分弦集合の分割をベルヌーイ確率変数として扱うことである。このアプローチの実用性は、ベンチマーク問題で実証されている。
論文参考訳（メタデータ） (2020-05-19T03:51:47Z)
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。任意の関数に対するランダム化スムージングの統一的なビューを示す。本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。