論文の概要: Improving Baselines in the Wild
- arxiv url: http://arxiv.org/abs/2112.15550v1
- Date: Fri, 31 Dec 2021 16:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 14:20:12.052241
- Title: Improving Baselines in the Wild
- Title(参考訳): 野生のベースラインを改善する
- Authors: Kazuki Irie, Imanol Schlag, R\'obert Csord\'as, J\"urgen Schmidhuber
- Abstract要約: 私たちは最近リリースされたWILDSベンチマークでの経験を共有しています。
いくつかの実験では、WILDSに関する今後の研究に一般的に関心があると思われるいくつかの批判的な観察結果が得られている。
- 参考スコア(独自算出の注目度): 9.216201990315364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We share our experience with the recently released WILDS benchmark, a
collection of ten datasets dedicated to developing models and training
strategies which are robust to domain shifts. Several experiments yield a
couple of critical observations which we believe are of general interest for
any future work on WILDS. Our study focuses on two datasets: iWildCam and FMoW.
We show that (1) Conducting separate cross-validation for each evaluation
metric is crucial for both datasets, (2) A weak correlation between validation
and test performance might make model development difficult for iWildCam, (3)
Minor changes in the training of hyper-parameters improve the baseline by a
relatively large margin (mainly on FMoW), (4) There is a strong correlation
between certain domains and certain target labels (mainly on iWildCam). To the
best of our knowledge, no prior work on these datasets has reported these
observations despite their obvious importance. Our code is public.
- Abstract(参考訳): 最近リリースされたwildsベンチマークは、ドメインシフトにロバストなモデルとトレーニング戦略の開発に特化した10のデータセットのコレクションです。
いくつかの実験は、WILDSに関する今後の研究に一般的な関心を持ついくつかの批判的な観察をもたらす。
本研究は,iWildCamとFMoWの2つのデータセットに焦点を当てた。
1) 評価基準ごとに個別の相互評価を行うことは, 両データセットにとって重要であること, (2) 検証とテスト性能の弱い相関関係がiwildcamのモデル開発を困難にする可能性があること, (3) ハイパーパラメータのトレーニングのマイナーな変更は, 比較的大きなマージン(主にfmow)でベースラインを改善すること, (4) 特定のドメインと特定のターゲットラベル(主にiwildcam)との間に強い相関があることが示されている。
我々の知る限りでは、これらのデータセットに関する先行研究は、明らかな重要性にもかかわらず、これらの観測を報告していない。
私たちのコードは公開されています。
関連論文リスト
- Autoencoder based approach for the mitigation of spurious correlations [2.7624021966289605]
純粋な相関は、真の基盤となる関係を反映しないデータの誤関連を指す。
これらの相関により、ディープニューラルネットワーク(DNN)は、さまざまなデータセットや実世界のシナリオで堅牢でないパターンを学ぶことができる。
本稿では,GWHD(Global Wheat Head Detection)2021データセットに存在するスプリアス相関の性質を自動エンコーダで解析する手法を提案する。
論文 参考訳(メタデータ) (2024-06-27T05:28:44Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳(メタデータ) (2024-06-26T05:30:21Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳(メタデータ) (2023-03-16T00:06:28Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Understanding Cross-Domain Few-Shot Learning: An Experimental Study [17.81177649496765]
ドメイン間数ショットの学習は、ソースとターゲットドメインの大きな違いを扱うために注目されている。
最近の研究は、事前訓練期間中に対象領域からの小規模な未ラベルデータを活用することを検討している。
このデータは、ソースドメインの教師付き事前トレーニングに加えて、ターゲットドメインでの自己教師付き事前トレーニングを可能にする。
論文 参考訳(メタデータ) (2022-02-01T12:35:25Z) - Multi-Domain Joint Training for Person Re-Identification [51.73921349603597]
ReID(Deep Learning-based person Re-IDentification)は、優れたパフォーマンスを達成するために、大量のトレーニングデータを必要とすることが多い。
多様な環境からより多くのトレーニングデータを集めることで、ReIDのパフォーマンスが向上する傾向にある。
本稿では,パラメータを様々な要因に適応させることができる,Domain-Camera-Sample Dynamic Network (DCSD) というアプローチを提案する。
論文 参考訳(メタデータ) (2022-01-06T09:20:59Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Invariant Feature Learning for Sensor-based Human Activity Recognition [11.334750079923428]
被験者やデバイス間で共有される共通情報を抽出する不変特徴学習フレームワーク(IFLF)を提案する。
実験により、IFLFは、一般的なオープンデータセットと社内データセットをまたいだ主題とデバイスディバージョンの両方を扱うのに効果的であることが示された。
論文 参考訳(メタデータ) (2020-12-14T21:56:17Z) - Dataset Cartography: Mapping and Diagnosing Datasets with Training
Dynamics [118.75207687144817]
我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。
私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。
以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-22T20:19:41Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。