論文の概要: Gaussian Switch Sampling: A Second Order Approach to Active Learning
- arxiv url: http://arxiv.org/abs/2302.12018v1
- Date: Thu, 16 Feb 2023 15:24:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 13:13:55.249963
- Title: Gaussian Switch Sampling: A Second Order Approach to Active Learning
- Title（参考訳）: gaussian switch sampling: アクティブラーニングへの2次アプローチ
- Authors: Ryan Benkert, Mohit Prabhushankar, Ghassan AlRegib, Armin Pacharmi,
and Enrique Corona
- Abstract要約: 能動的学習において、取得関数は、モデル多様体内の表現位置に直接情報性を定義する。
本稿では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。
我々は,モデル表現が訓練データの欠如によって制約されている場合でも,その定義が極めて正確な重要度スコアを生成することを示す。
- 参考スコア（独自算出の注目度）: 11.775252660867285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In active learning, acquisition functions define informativeness directly on
the representation position within the model manifold. However, for most
machine learning models (in particular neural networks) this representation is
not fixed due to the training pool fluctuations in between active learning
rounds. Therefore, several popular strategies are sensitive to experiment
parameters (e.g. architecture) and do not consider model robustness to
out-of-distribution settings. To alleviate this issue, we propose a grounded
second-order definition of information content and sample importance within the
context of active learning. Specifically, we define importance by how often a
neural network "forgets" a sample during training - artifacts of second order
representation shifts. We show that our definition produces highly accurate
importance scores even when the model representations are constrained by the
lack of training data. Motivated by our analysis, we develop Gaussian Switch
Sampling (GauSS). We show that GauSS is setup agnostic and robust to anomalous
distributions with exhaustive experiments on three in-distribution benchmarks,
three out-of-distribution benchmarks, and three different architectures. We
report an improvement of up to 5% when compared against four popular query
strategies.
- Abstract（参考訳）: アクティブラーニングでは、獲得関数はモデル多様体内の表現位置から直接情報性を定義する。
しかし、ほとんどの機械学習モデル(特にニューラルネットワーク)では、アクティブな学習ラウンド間のトレーニングプール変動のため、この表現は固定されていない。
したがって、いくつかの一般的な戦略は実験パラメータ(例えばアーキテクチャ)に敏感であり、分散設定に対するモデルのロバスト性を考慮していない。
この問題を軽減するために,本研究では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。
具体的には、トレーニング中にニューラルネットワークがサンプルを"忘れている"頻度で重要度を定義します。
モデル表現が訓練データの欠如によって制約されている場合でも, 精度の高い重要度スコアが得られた。
分析に動機づけられ,ガウススイッチサンプリング(gauss)を開発した。
GauSSは,3つの分布内ベンチマーク,3つの分布外ベンチマーク,および3つの異なるアーキテクチャの徹底的な実験により,異常分布に対して非依存かつ堅牢であることを示す。
4つの一般的なクエリ戦略と比較すると,最大5%の改善が報告されている。
関連論文リスト
- Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳（メタデータ） (2023-04-04T03:48:56Z) - Self-supervised learning of Split Invariant Equivariant representations [0.0]
55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。
我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。
SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
論文 参考訳（メタデータ） (2023-02-14T07:53:18Z) - Forgetful Active Learning with Switch Events: Efficient Sampling for
Out-of-Distribution Data [13.800680101300756]
実際には、完全に訓練されたニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)入力とランダムに相互作用する。
本稿では,スイッチイベント(FALSE)による忘れがちなアクティブラーニングについて紹介する。
270以上の実験で最大4.5%の精度向上が報告された。
論文 参考訳（メタデータ） (2023-01-12T16:03:14Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - GDC- Generalized Distribution Calibration for Few-Shot Learning [5.076419064097734]
大規模なラベル付きデータセットを組み立てるのにかなりの時間と労力を要するため、機械学習において重要な問題となるショットラーニングはほとんどない。
ほとんどの少数ショット学習アルゴリズムは、2つの制限の1つに悩まされている。
そこで本研究では,全大クラスの重み付きランダム変数として分類する際,少数ショット分布を推定する一般サンプリング手法を提案する。
論文 参考訳（メタデータ） (2022-04-11T16:22:53Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Deep Active Learning in Remote Sensing for data efficient Change
Detection [26.136331738529243]
本研究では、変化検出とマップ更新のための深層ニューラルネットワークモデルの文脈におけるアクティブラーニングについて検討する。
アクティブな学習では、最小限のトレーニング例から始まり、ユーザによって注釈付けされた情報的サンプルを徐々に選択する。
能動学習は,高い情報的サンプルの発見に成功し,自動的にトレーニング分布のバランスをとることを示す。
論文 参考訳（メタデータ） (2020-08-25T17:58:17Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。