論文の概要: Exploiting All Samples in Low-Resource Sentence Classification: Early Stopping and Initialization Parameters
- arxiv url: http://arxiv.org/abs/2111.06971v2
- Date: Thu, 25 Jul 2024 01:19:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-28 18:48:53.841276
- Title: Exploiting All Samples in Low-Resource Sentence Classification: Early Stopping and Initialization Parameters
- Title（参考訳）: 低リソース文分類における全サンプルの爆発:早期停止と初期化パラメータ
- Authors: Hongseok Choi, Hyunju Lee,
- Abstract要約: 本研究では,データやモデルの再設計を伴わないラベル付きサンプルの活用方法について論じる。
重量平均化法を用いてモデルを初期化する統合手法を提案し,全てのサンプルを非バリデーション停止法を用いて訓練する。
本結果は,トレーニング戦略の重要性を強調し,低リソース環境における統合手法が第一歩となることを示唆している。
- 参考スコア（独自算出の注目度）: 6.368871731116769
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To improve deep-learning performance in low-resource settings, many researchers have redesigned model architectures or applied additional data (e.g., external resources, unlabeled samples). However, there have been relatively few discussions on how to make good use of small amounts of labeled samples, although it is potentially beneficial and should be done before applying additional data or redesigning models. In this study, we assume a low-resource setting in which only a few labeled samples (i.e., 30-100 per class) are available, and we discuss how to exploit them without additional data or model redesigns. We explore possible approaches in the following three aspects: training-validation splitting, early stopping, and weight initialization. Extensive experiments are conducted on six public sentence classification datasets. Performance on various evaluation metrics (e.g., accuracy, loss, and calibration error) significantly varied depending on the approaches that were combined in the three aspects. Based on the results, we propose an integrated method, which is to initialize the model with a weight averaging method and use a non-validation stop method to train all samples. This simple integrated method consistently outperforms the competitive methods; e.g., the average accuracy of six datasets of this method was 1.8% higher than those of conventional validation-based methods. In addition, the integrated method further improves the performance when adapted to several state-of-the-art models that use additional data or redesign the network architecture (e.g., self-training and enhanced structural models). Our results highlight the importance of the training strategy and suggest that the integrated method can be the first step in the low-resource setting. This study provides empirical knowledge that will be helpful when dealing with low-resource data in future efforts.
- Abstract（参考訳）: 低リソース環境でのディープラーニングのパフォーマンス向上のために、多くの研究者がモデルアーキテクチャを再設計したり、追加データ(外部リソース、ラベルなしサンプルなど)を適用した。
しかし、少量のラベル付きサンプルをうまく利用する方法についての議論は比較的少ないが、潜在的に有益であり、追加のデータを適用する前にやるべきである。
本研究では,少数のラベル付きサンプル(クラス毎30～100)しか利用できない低リソース環境を想定し,追加データやモデルの再設計なしにそれらを活用する方法について議論する。
トレーニング検証分割,早期停止,体重初期化という3つの側面から可能なアプローチを探る。
6つの公開文分類データセットで大規模な実験を行う。
評価指標(精度,損失,キャリブレーション誤差など)の性能は,3つの側面で組み合わせたアプローチによって大きく異なっていた。
提案手法は,重量平均化法を用いてモデルを初期化し,非バリデーション停止法を用いて全てのサンプルを訓練する統合手法を提案する。
例えば、この手法の6つのデータセットの平均精度は、従来の検証ベースの手法よりも1.8%高い。
さらに、統合された手法は、追加データを使用したり、ネットワークアーキテクチャを再設計するいくつかの最先端モデル(例えば、自己学習と強化された構造モデル)に適応する際のパフォーマンスをさらに向上する。
本結果は,トレーニング戦略の重要性を強調し,低リソース環境における統合手法が第一歩となることを示唆している。
本研究は,低リソースデータを扱う上で有用な経験的知識を提供する。
関連論文リスト
- Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。
具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。
我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:01:58Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳（メタデータ） (2023-11-16T10:42:58Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - SPEC: Summary Preference Decomposition for Low-Resource Abstractive
Summarization [21.037841262371355]
本稿では,ソースコーパスからターゲットコーパスへ数発の学習プロセスを転送するフレームワークを提案する。
提案手法は, ROUGE-1/2/Lを10例, 100例で平均改良した6種類のコーパスに対して, 30.11%/33.95%/27.51%, 26.74%/31.14%/24.48%の最先端性能を実現する。
論文 参考訳（メタデータ） (2023-03-24T14:07:03Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。
実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
論文 参考訳（メタデータ） (2021-09-07T17:30:56Z) - Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。
実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。
また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
論文 参考訳（メタデータ） (2020-05-07T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。