論文の概要: Exploiting all samples in low-resource sentence classification: early stopping and initialization parameters

• arxiv url: http://arxiv.org/abs/2111.06971v1
• Date: Fri, 12 Nov 2021 22:31:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 14:51:22.798750
• Title: Exploiting all samples in low-resource sentence classification: early stopping and initialization parameters
• Title（参考訳）: 低リソース文分類における全サンプル活用--早期停止と初期化パラメータ
• Authors: HongSeok Choi and Hyunju Lee
• Abstract要約: 低リソース設定では、ディープニューラルモデルはオーバーフィッティングによるパフォーマンスの低下をしばしば示している。 本研究では、外部データセットやモデル操作を使わずに、低リソース設定で利用可能なすべてのサンプルを利用する方法について論じる。
• 参考スコア（独自算出の注目度）: 0.685316573653194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In low resource settings, deep neural models have often shown lower performance due to overfitting. The primary method to solve the overfitting problem is to generalize model parameters. To this end, many researchers have depended on large external resources with various manipulation techniques. In this study, we discuss how to exploit all available samples in low resource settings, without external datasets and model manipulation. This study focuses on natural language processing task. We propose a simple algorithm to find out good initialization parameters that improve robustness to a small sample set. We apply early stopping techniques that enable the use of all samples for training. Finally, the proposed learning strategy is to train all samples with the good initialization parameters and stop the model with the early stopping techniques. Extensive experiments are conducted on seven public sentence classification datasets, and the results demonstrate that the proposed learning strategy achieves better performance than several state-of-the-art works across the seven datasets.
• Abstract（参考訳）: 低リソース設定では、ディープニューラルモデルはオーバーフィッティングによるパフォーマンスの低下をしばしば示している。 オーバーフィッティング問題を解決する主要な方法はモデルパラメータを一般化することである。 この目的のために、多くの研究者は様々な操作技術で大きな外部資源に依存してきた。 本研究では,外部のデータセットやモデル操作を使わずに,利用可能なすべてのサンプルを低リソース設定で活用する方法について議論する。 本研究は自然言語処理に焦点をあてる。 小標本集合に対するロバスト性を改善する良質な初期化パラメータを求めるための簡単なアルゴリズムを提案する。 すべてのサンプルをトレーニングに使用できる早期停止技術を適用する。 最後に、提案する学習戦略は、適切な初期化パラメータですべてのサンプルをトレーニングし、早期停止テクニックでモデルを停止することである。 7つの公開文分類データセットについて広範な実験を行い,提案手法が7つのデータセットにまたがる最先端の作業よりも優れた性能を実現することを実証した。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• SPEC: Summary Preference Decomposition for Low-Resource Abstractive Summarization [21.037841262371355]
  本稿では,ソースコーパスからターゲットコーパスへ数発の学習プロセスを転送するフレームワークを提案する。 提案手法は, ROUGE-1/2/Lを10例, 100例で平均改良した6種類のコーパスに対して, 30.11%/33.95%/27.51%, 26.74%/31.14%/24.48%の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-24T14:07:03Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
  本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。 実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-09-07T17:30:56Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。