Fugu-MT 論文翻訳(概要): Manifold attack

論文の概要: Manifold attack

arxiv url: http://arxiv.org/abs/2009.05965v2
Date: Wed, 17 Mar 2021 16:17:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-19 02:40:49.403688
Title: Manifold attack
Title（参考訳）: マニフォールド攻撃
Authors: Khanh-Hung Tran, Fred-Maurice Ngole-Mboula and Jean-Luc Starck
Abstract要約: 本稿では,元データから潜在表現への多様体保存(manifold learning)を強制する。正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。
参考スコア（独自算出の注目度）: 0.22419496088582863
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine Learning in general and Deep Learning in particular has gained much interest in the recent decade and has shown significant performance improvements for many Computer Vision or Natural Language Processing tasks. In order to deal with databases which have just a small amount of training samples or to deal with models which have large amount of parameters, the regularization is indispensable. In this paper, we enforce the manifold preservation (manifold learning) from the original data into latent presentation by using "manifold attack". The later is inspired in a fashion of adversarial learning : finding virtual points that distort mostly the manifold preservation then using these points as supplementary samples to train the model. We show that our approach of regularization provides improvements for the accuracy rate and for the robustness to adversarial examples.
Abstract（参考訳）: 機械学習全般、特にディープラーニングは、この10年で大きな関心を集め、多くのコンピュータビジョンや自然言語処理タスクのパフォーマンスが大幅に向上している。少量のトレーニングサンプルしか持たないデータベースや、大量のパラメータを持つモデルを扱うためには、正規化が不可欠である。本稿では,元データから「manifold attack」を用いて,多様体保存(manifold learning)を潜在プレゼンテーションに強制する。後者は、逆学習の手法にインスパイアされ、多様体保存のほとんどを歪める仮想点を見つけ、これらの点を補足的なサンプルとしてモデルトレーニングに利用する。正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。

関連論文リスト

Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文参考訳（メタデータ） (2024-02-02T09:33:07Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。この手法はタスクインクリメンタル設定における最先端性能を得る。
論文参考訳（メタデータ） (2023-03-26T16:35:45Z)
Instance-Conditional Timescales of Decay for Non-Stationary Learning [11.90763787610444]
スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。 9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
論文参考訳（メタデータ） (2022-12-12T14:16:26Z)
Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文参考訳（メタデータ） (2022-10-06T00:33:01Z)
CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-05-30T13:34:46Z)
Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering [17.7709632238066]
データアーティファクトは機械学習モデルにインセンティブを与え、非伝達可能な一般化を学ぶ。我々は、MultiWOZのような一般的なデータセットがそのようなデータアーティファクトを含んでいるかどうかを検討する。本稿では,これらの手法を無視し,一般化可能なパターンを学習することをモデルに推奨する,対照的な学習ベースのフレームワークを提案する。
論文参考訳（メタデータ） (2022-05-20T03:13:02Z)
Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。移行学習にインスパイアされたアプローチを用いてこの問題に対処する。本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文参考訳（メタデータ） (2022-01-18T18:53:10Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。私たちのフレームワークは、サンプル間の関係をよく保存します。サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文参考訳（メタデータ） (2020-07-11T10:57:45Z)
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。