論文の概要: SMOTExT: SMOTE meets Large Language Models

• arxiv url: http://arxiv.org/abs/2505.13434v1
• Date: Mon, 19 May 2025 17:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.798527
• Title: SMOTExT: SMOTE meets Large Language Models
• Title（参考訳）: SMOTExT: SMOTEが大規模言語モデルに対応
• Authors: Mateusz Bystroński, Mikołaj Hołysz, Grzegorz Piotrowski, Nitesh V. Chawla, Tomasz Kajdanowicz,
• Abstract要約: 本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。 提案手法は,既存の2つの例のBERTベースの埋め込みを補間することにより,新しい合成例を生成する。 初期の実験では、生成されたデータのみを対象としたトレーニングモデルは、元のデータセットでトレーニングされたモデルと同等のパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 19.394116388173885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data scarcity and class imbalance are persistent challenges in training robust NLP models, especially in specialized domains or low-resource settings. We propose a novel technique, SMOTExT, that adapts the idea of Synthetic Minority Over-sampling (SMOTE) to textual data. Our method generates new synthetic examples by interpolating between BERT-based embeddings of two existing examples and then decoding the resulting latent point into text with xRAG architecture. By leveraging xRAG's cross-modal retrieval-generation framework, we can effectively turn interpolated vectors into coherent text. While this is preliminary work supported by qualitative outputs only, the method shows strong potential for knowledge distillation and data augmentation in few-shot settings. Notably, our approach also shows promise for privacy-preserving machine learning: in early experiments, training models solely on generated data achieved comparable performance to models trained on the original dataset. This suggests a viable path toward safe and effective learning under data protection constraints.
• Abstract（参考訳）: データ不足とクラス不均衡は、堅牢なNLPモデルのトレーニング、特に特殊なドメインや低リソース設定において、永続的な課題である。 本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。 提案手法は,既存の2つの例のBERTベースの埋め込みを補間し,得られた潜在点をxRAGアーキテクチャでテキストに復号することで,新しい合成例を生成する。 xRAGのクロスモーダル検索生成フレームワークを利用することで、補間ベクトルをコヒーレントテキストに変換することができる。 これは定性的な出力のみに支えられる予備的な作業であるが、この手法は知識蒸留と数ショット設定でのデータの増大に強い可能性を示す。 初期の実験では、生成されたデータにのみ依存したトレーニングモデルは、元のデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成しました。 これは、データ保護の制約の下で安全で効果的な学習への実行可能な道のりを示唆している。

関連論文リスト

• Synthetic Text Generation for Training Large Language Models via Gradient Matching [27.74603049449281]
  合成可読テキストを生成するための理論的に厳密な最初のアプローチを提案する。 生成した合成テキストは、実際のデータを微調整して得られた解の近傍にモデルを収束させることを保証できる。
  論文  参考訳（メタデータ） (2025-02-24T19:49:15Z)
• Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems [1.0124625066746595]
  本稿では,DeepSeek Few-shotの最適化を導入し,反復的なプロンプトエンジニアリングによりラベル生成の弱さを高める。 下流モデルの性能を大幅に向上させる高品質なアノテーションを実現する。 さらに、これらの最適化アノテーションに基づいてMistral-7B-Instruct-v0.3モデルを微調整し、リソース制限設定における幻覚を正確に検出する。
  論文  参考訳（メタデータ） (2025-01-28T01:26:22Z)
• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning [19.7066703371736]
  トピック・セマンティック・コントラスト・トピック・モデル(TSCTM)を提案する。 我々のTSCTMは、データ拡張の可用性に関わらず最先端のベースラインを上回り、高品質なトピックやトピックの分布を生成します。
  論文  参考訳（メタデータ） (2022-11-23T11:33:43Z)
• Semi-Supervised Learning Based on Reference Model for Low-resource TTS [32.731900584216724]
  本稿では,ラベル付きターゲットデータに制限があるニューラルネットワークの半教師付き学習手法を提案する。 実験結果から,対象データに制限のある半教師付き学習手法は,音声合成における自然性と頑健性を達成するために,テストデータの音声品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T07:48:07Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。