論文の概要: Exploiting all samples in low-resource sentence classification: early
stopping and initialization parameters
- arxiv url: http://arxiv.org/abs/2111.06971v1
- Date: Fri, 12 Nov 2021 22:31:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 14:51:22.798750
- Title: Exploiting all samples in low-resource sentence classification: early
stopping and initialization parameters
- Title(参考訳): 低リソース文分類における全サンプル活用--早期停止と初期化パラメータ
- Authors: HongSeok Choi and Hyunju Lee
- Abstract要約: 低リソース設定では、ディープニューラルモデルはオーバーフィッティングによるパフォーマンスの低下をしばしば示している。
本研究では、外部データセットやモデル操作を使わずに、低リソース設定で利用可能なすべてのサンプルを利用する方法について論じる。
- 参考スコア(独自算出の注目度): 0.685316573653194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In low resource settings, deep neural models have often shown lower
performance due to overfitting. The primary method to solve the overfitting
problem is to generalize model parameters. To this end, many researchers have
depended on large external resources with various manipulation techniques. In
this study, we discuss how to exploit all available samples in low resource
settings, without external datasets and model manipulation. This study focuses
on natural language processing task. We propose a simple algorithm to find out
good initialization parameters that improve robustness to a small sample set.
We apply early stopping techniques that enable the use of all samples for
training. Finally, the proposed learning strategy is to train all samples with
the good initialization parameters and stop the model with the early stopping
techniques. Extensive experiments are conducted on seven public sentence
classification datasets, and the results demonstrate that the proposed learning
strategy achieves better performance than several state-of-the-art works across
the seven datasets.
- Abstract(参考訳): 低リソース設定では、ディープニューラルモデルはオーバーフィッティングによるパフォーマンスの低下をしばしば示している。
オーバーフィッティング問題を解決する主要な方法はモデルパラメータを一般化することである。
この目的のために、多くの研究者は様々な操作技術で大きな外部資源に依存してきた。
本研究では,外部のデータセットやモデル操作を使わずに,利用可能なすべてのサンプルを低リソース設定で活用する方法について議論する。
本研究は自然言語処理に焦点をあてる。
小標本集合に対するロバスト性を改善する良質な初期化パラメータを求めるための簡単なアルゴリズムを提案する。
すべてのサンプルをトレーニングに使用できる早期停止技術を適用する。
最後に、提案する学習戦略は、適切な初期化パラメータですべてのサンプルをトレーニングし、早期停止テクニックでモデルを停止することである。
7つの公開文分類データセットについて広範な実験を行い,提案手法が7つのデータセットにまたがる最先端の作業よりも優れた性能を実現することを実証した。
関連論文リスト
- Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - Foundation Model Makes Clustering a Better Initialization for Active
Learning [6.626575189360845]
アクティブラーニングは、アノテートするためにラベルのないデータセットから最も情報に富んだサンプルを選択する。
以前の研究のほとんどはランダムサンプリングやナイーブクラスタリングに頼っている。
本稿では,基礎モデルとクラスタリング手法を統合して,アクティブな学習のためのサンプルを選択することを提案する。
論文 参考訳(メタデータ) (2024-02-04T16:27:37Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳(メタデータ) (2024-01-18T08:12:23Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳(メタデータ) (2023-11-16T10:42:58Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - RPLKG: Robust Prompt Learning with Knowledge Graph [11.893917358053004]
知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。
知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。
RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
論文 参考訳(メタデータ) (2023-04-21T08:22:58Z) - SPEC: Summary Preference Decomposition for Low-Resource Abstractive
Summarization [21.037841262371355]
本稿では,ソースコーパスからターゲットコーパスへ数発の学習プロセスを転送するフレームワークを提案する。
提案手法は, ROUGE-1/2/Lを10例, 100例で平均改良した6種類のコーパスに対して, 30.11%/33.95%/27.51%, 26.74%/31.14%/24.48%の最先端性能を実現する。
論文 参考訳(メタデータ) (2023-03-24T14:07:03Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。
本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。
我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
論文 参考訳(メタデータ) (2022-03-29T17:42:04Z) - Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。
移行学習にインスパイアされたアプローチを用いてこの問題に対処する。
本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文 参考訳(メタデータ) (2022-01-18T18:53:10Z) - Reweighting Augmented Samples by Minimizing the Maximal Expected Loss [51.2791895511333]
我々は,拡張標本の任意の重み付け損失に対する上限となる最大期待損失を構成する。
敵の訓練に触発されて、この最大期待損失を最小化し、単純で解釈可能なクローズドフォームソリューションを得る。
提案手法は, 一般に任意のデータ拡張法上に適用可能である。
論文 参考訳(メタデータ) (2021-03-16T09:31:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。