論文の概要: Synthetic Feature Augmentation Improves Generalization Performance of Language Models

• arxiv url: http://arxiv.org/abs/2501.06434v1
• Date: Sat, 11 Jan 2025 04:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:04.502635
• Title: Synthetic Feature Augmentation Improves Generalization Performance of Language Models
• Title（参考訳）: 合成機能拡張による言語モデルの一般化性能の向上
• Authors: Ashok Choudhary, Cornelius Thiels, Hojjat Salehinejad,
• Abstract要約: 限定的かつ不均衡なデータセット上でのトレーニングと微調整のディープラーニングモデルは、重大な課題を生じさせる。 本研究では, 様々な手法を用いて合成試料を合成することにより, 埋め込み空間における特徴量を増やすことを提案する。 複数のオープンソーステキスト分類ベンチマークにまたがって,このアプローチの有効性を検証する。
• 参考スコア（独自算出の注目度）: 8.463273762997398
• License:
• Abstract: Training and fine-tuning deep learning models, especially large language models (LLMs), on limited and imbalanced datasets poses substantial challenges. These issues often result in poor generalization, where models overfit to dominant classes and underperform on minority classes, leading to biased predictions and reduced robustness in real-world applications. To overcome these challenges, we propose augmenting features in the embedding space by generating synthetic samples using a range of techniques. By upsampling underrepresented classes, this method improves model performance and alleviates data imbalance. We validate the effectiveness of this approach across multiple open-source text classification benchmarks, demonstrating its potential to enhance model robustness and generalization in imbalanced data scenarios.
• Abstract（参考訳）: 限定的で不均衡なデータセット上でのトレーニングと微調整の深層学習モデル、特に大きな言語モデル(LLM)は、大きな課題となる。 これらの問題は、モデルが支配的なクラスに過度に適合し、マイノリティクラスで過小評価され、バイアスのある予測と現実のアプリケーションにおける堅牢さの低下につながる、という、しばしば一般化の悪い結果をもたらす。 これらの課題を克服するために, 様々な手法を用いて合成サンプルを生成することにより, 埋め込み空間における機能強化を提案する。 未表現のクラスをアップサンプすることで、モデルの性能を改善し、データの不均衡を軽減する。 提案手法の有効性を複数のオープンソーステキスト分類ベンチマークで検証し,不均衡なデータシナリオにおけるモデルロバスト性の向上と一般化の可能性を示す。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Physics-Informed Diffusion Models [0.0]
  本稿では,モデル学習中に生成されたサンプルに対して,基礎となる制約の拡散モデルに通知する枠組みを提案する。 提案手法は, 提案した制約付きサンプルのアライメントを改良し, 既存手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
  ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。 クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。 非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
  論文  参考訳（メタデータ） (2023-03-11T05:17:59Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。