論文の概要: Okapi: Generalising Better by Making Statistical Matches Match
- arxiv url: http://arxiv.org/abs/2211.05236v1
- Date: Mon, 7 Nov 2022 12:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 14:38:09.300818
- Title: Okapi: Generalising Better by Making Statistical Matches Match
- Title（参考訳）: okapi: 統計的マッチングによる一般化
- Authors: Myles Bartlett, Sara Romiti, Viktoriia Sharmanska, Novi Quadrianto
- Abstract要約: オカピは、オンライン統計マッチングに基づく頑健な半教師あり学習のためのシンプルで効率的で汎用的な方法である。
提案手法では, 最寄りのマッチング手法を用いて, 整合性損失に対するクロスドメインビューを生成する。
経験的リスクの最小化を改善するために、余分な遅延のないデータを活用することは実際に可能であることを示す。
- 参考スコア（独自算出の注目度）: 7.392460712829188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Okapi, a simple, efficient, and general method for robust
semi-supervised learning based on online statistical matching. Our method uses
a nearest-neighbours-based matching procedure to generate cross-domain views
for a consistency loss, while eliminating statistical outliers. In order to
perform the online matching in a runtime- and memory-efficient way, we draw
upon the self-supervised literature and combine a memory bank with a
slow-moving momentum encoder. The consistency loss is applied within the
feature space, rather than on the predictive distribution, making the method
agnostic to both the modality and the task in question. We experiment on the
WILDS 2.0 datasets Sagawa et al., which significantly expands the range of
modalities, applications, and shifts available for studying and benchmarking
real-world unsupervised adaptation. Contrary to Sagawa et al., we show that it
is in fact possible to leverage additional unlabelled data to improve upon
empirical risk minimisation (ERM) results with the right method. Our method
outperforms the baseline methods in terms of out-of-distribution (OOD)
generalisation on the iWildCam (a multi-class classification task) and
PovertyMap (a regression task) image datasets as well as the CivilComments (a
binary classification task) text dataset. Furthermore, from a qualitative
perspective, we show the matches obtained from the learned encoder are strongly
semantically related. Code for our paper is publicly available at
https://github.com/wearepal/okapi/.
- Abstract（参考訳）: 本稿では,オンライン統計マッチングに基づくロバストな半教師付き学習手法であるokapiを提案する。
本手法は,一貫性損失に対するクロスドメインビューの生成に最も近いneighboursベースのマッチング手順を用いる。
実行時およびメモリ効率のよい方法でオンラインマッチングを行うために,自己教師付き文献を作成し,メモリバンクとスローモーションモーメントエンコーダを組み合わせる。
整合性損失は、予測分布ではなく特徴空間内で適用され、その方法が問題となるモダリティとタスクの両方に非依存となる。
我々は,実世界における教師なし適応の研究とベンチマークに利用可能なモダリティ,応用,シフトの範囲を大幅に拡大するWILDS 2.0データセットを実験する。
佐川らとは対照的に,経験的リスク最小化(ERM)の結果を正しい方法で改善するために,非ラベルデータを活用することが可能である。
提案手法は,iwildcam (multi-class classification task) と povertymap (regressive task) 画像データセットおよびcivilcomments (binary classification task) テキストデータセットにおけるout-of-distribution (ood) 一般化の観点から,ベースラインメソッドを上回っている。
さらに,定性的な観点からは,学習エンコーダから得られたマッチングが,意味的に強く関連していることを示す。
私たちの論文のコードはhttps://github.com/wearepal/okapi/で公開されています。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Sample and Predict Your Latent: Modality-free Sequential Disentanglement
via Contrastive Estimation [2.7759072740347017]
外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。
実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。
提案手法は,既存の手法と比較して最先端の結果を示す。
論文 参考訳（メタデータ） (2023-05-25T10:50:30Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
論文 参考訳（メタデータ） (2022-10-11T20:20:20Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-05-12T02:23:25Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - Domain Adaptive Bootstrap Aggregating [5.444459446244819]
ブートストラップ集約(英: bootstrap aggregating)は、予測アルゴリズムの安定性を改善する一般的な方法である。
本稿では, ドメイン適応型バッグング手法と, 隣り合う新しい反復型サンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-01-12T20:02:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。