論文の概要: Deep Active Ensemble Sampling For Image Classification
- arxiv url: http://arxiv.org/abs/2210.05770v1
- Date: Tue, 11 Oct 2022 20:20:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 14:29:00.556408
- Title: Deep Active Ensemble Sampling For Image Classification
- Title(参考訳): 画像分類のための深部アクティブアンサンブルサンプリング
- Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh
- Abstract要約: アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
- 参考スコア(独自算出の注目度): 8.31483061185317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional active learning (AL) frameworks aim to reduce the cost of data
annotation by actively requesting the labeling for the most informative data
points. However, introducing AL to data hungry deep learning algorithms has
been a challenge. Some proposed approaches include uncertainty-based
techniques, geometric methods, implicit combination of uncertainty-based and
geometric approaches, and more recently, frameworks based on semi/self
supervised techniques. In this paper, we address two specific problems in this
area. The first is the need for efficient exploitation/exploration trade-off in
sample selection in AL. For this, we present an innovative integration of
recent progress in both uncertainty-based and geometric frameworks to enable an
efficient exploration/exploitation trade-off in sample selection strategy. To
this end, we build on a computationally efficient approximate of Thompson
sampling with key changes as a posterior estimator for uncertainty
representation. Our framework provides two advantages: (1) accurate posterior
estimation, and (2) tune-able trade-off between computational overhead and
higher accuracy. The second problem is the need for improved training protocols
in deep AL. For this, we use ideas from semi/self supervised learning to
propose a general approach that is independent of the specific AL technique
being used. Taken these together, our framework shows a significant improvement
over the state-of-the-art, with results that are comparable to the performance
of supervised-learning under the same setting. We show empirical results of our
framework, and comparative performance with the state-of-the-art on four
datasets, namely, MNIST, CIFAR10, CIFAR100 and ImageNet to establish a new
baseline in two different settings.
- Abstract(参考訳): 従来のアクティブラーニング(AL)フレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
しかし、ALをデータに導入する深層学習アルゴリズムは困難だった。
不確実性に基づく手法、幾何学的手法、不確実性に基づく暗黙的手法と幾何学的手法の組み合わせ、さらに最近では半自己監督技術に基づくフレームワークなどが提案されている。
本稿では,この領域における2つの問題に対処する。
第一は、alにおけるサンプル選択における効率的な搾取/探索トレードオフの必要性である。
そこで本研究では,不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合し,サンプル選択戦略における効率的な探索・探索のトレードオフを実現する。
この目的のために,不確実性表現のための後方推定器として鍵変化を伴うトンプソンサンプリングの計算効率の高い近似値を構築した。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
第2の問題は、ディープALにおけるトレーニングプロトコルの改善である。
そこで我々は,半教師付き学習のアイデアを用いて,特定のal手法とは無関係な一般的なアプローチを提案する。
これらをまとめると、我々のフレームワークは最先端よりも大幅に改善され、同じ環境下での教師あり学習のパフォーマンスに匹敵する結果が得られます。
MNIST, CIFAR10, CIFAR100, ImageNet の4つのデータセットに対して,本フレームワークの実証的な結果と最新技術との比較を行い, 2つの異なる設定で新たなベースラインを確立する。
関連論文リスト
- A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。
我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-17T04:41:07Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - Model Predictive Control with Self-supervised Representation Learning [13.225264876433528]
本稿では,TD-MPCフレームワーク内での再構成機能の利用を提案する。
提案した損失項の追加は、状態ベースタスクと画像ベースタスクの両方のパフォーマンス改善につながる。
論文 参考訳(メタデータ) (2023-04-14T16:02:04Z) - Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary
Data [100.33096338195723]
補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。
FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。
提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
論文 参考訳(メタデータ) (2023-02-01T18:59:36Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-05-12T02:23:25Z) - Interpolation-based Contrastive Learning for Few-Label Semi-Supervised
Learning [43.51182049644767]
半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。
摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。
本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
論文 参考訳(メタデータ) (2022-02-24T06:00:05Z) - Improving Federated Relational Data Modeling via Basis Alignment and
Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。
知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。
我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。
実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文 参考訳(メタデータ) (2020-11-23T12:52:18Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳(メタデータ) (2020-05-04T03:21:05Z) - Pairwise Similarity Knowledge Transfer for Weakly Supervised Object
Localization [53.99850033746663]
弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。
本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。
COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
論文 参考訳(メタデータ) (2020-03-18T17:53:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。