論文の概要: Meta learning with language models: Challenges and opportunities in the
classification of imbalanced text
- arxiv url: http://arxiv.org/abs/2310.15019v1
- Date: Mon, 23 Oct 2023 15:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:17:39.041451
- Title: Meta learning with language models: Challenges and opportunities in the
classification of imbalanced text
- Title（参考訳）: 言語モデルを用いたメタ学習:不均衡テキストの分類における挑戦と機会
- Authors: Apostol Vassilev and Honglan Jin and Munawar Hasan
- Abstract要約: 異なるテキスト表現で構築された個々のモデルを組み合わせたメタ学習手法(MLT)を提案する。
解析により, 得られた手法は数値的に安定であり, 合理的な組み合わせ重みが得られることを示した。
また,提案手法の統計的に有意な利点を示すために,計算結果も提供する。
- 参考スコア（独自算出の注目度）: 0.8663897798518103
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Detecting out of policy speech (OOPS) content is important but difficult.
While machine learning is a powerful tool to tackle this challenging task, it
is hard to break the performance ceiling due to factors like quantity and
quality limitations on training data and inconsistencies in OOPS definition and
data labeling. To realize the full potential of available limited resources, we
propose a meta learning technique (MLT) that combines individual models built
with different text representations. We analytically show that the resulting
technique is numerically stable and produces reasonable combining weights. We
combine the MLT with a threshold-moving (TM) technique to further improve the
performance of the combined predictor on highly-imbalanced in-distribution and
out-of-distribution datasets. We also provide computational results to show the
statistically significant advantages of the proposed MLT approach.
All authors contributed equally to this work.
- Abstract（参考訳）: ポリシースピーチ(OOPS)の内容の検出は重要だが難しい。
機械学習は、この困難なタスクに取り組む強力なツールですが、トレーニングデータの量や品質の制限、oops定義とデータラベリングの不整合といった要因によって、パフォーマンスの天井を壊すことは困難です。
利用可能な限られたリソースの完全な可能性を実現するため,異なるテキスト表現で構築された個々のモデルを組み合わせたメタ学習手法(MLT)を提案する。
解析により, この手法は数値的に安定であり, 合理的な組合せ重みが得られることを示した。
我々は,MLTとしきい値移動(TM)技術を組み合わせることで,高度に不均衡な分布内および分布外データセット上での予測器の性能をさらに向上する。
また,提案手法の統計的に有意な利点を示す計算結果も提供する。
すべての著者がこの作品に等しく貢献した。
関連論文リスト
- How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Semantic Meta-Split Learning: A TinyML Scheme for Few-Shot Wireless Image Classification [50.28867343337997]
本研究は,TinyMLを用いた無線画像分類のためのセマンティック・コミュニケーション・フレームワークを提案する。
我々は、プライバシ保護を確保しつつ、エンドユーザーによって実行される計算を制限するために分割学習を利用する。
メタ学習は、データ可用性の懸念を克服し、同様のトレーニングされたタスクを利用することで、トレーニングを高速化する。
論文 参考訳（メタデータ） (2024-09-03T05:56:55Z) - Text Serialization and Their Relationship with the Conventional Paradigms of Tabular Machine Learning [0.0]
本研究では,機械学習タスクにおける特徴表現と予測に言語モデル(LM)をどのように使用できるかを検討する。
本研究は,新しいLM技術が表型機械学習の伝統的なパラダイムとどのように比較されるかを評価する。
以上の結果から,現在の事前学習モデルは従来の手法に取って代わるべきではないことがわかった。
論文 参考訳（メタデータ） (2024-06-19T21:19:37Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling [0.0]
本稿では,NLPタスクモデリングの精度を向上させるために,教師なし学習と教師なし学習を相乗化する新しいハイブリッド手法を提案する。
提案手法は,未ラベルコーパスから表現を学習する教師なしモジュールと,これらの表現を活用してタスク固有モデルを強化する教師付きモジュールを統合する。
手法の相乗化により、我々のハイブリッドアプローチはベンチマークデータセット上でSOTAの結果を達成し、よりデータ効率が高くロバストなNLPシステムを実現する。
論文 参考訳（メタデータ） (2024-06-03T08:31:35Z) - CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。
従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。
多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
論文 参考訳（メタデータ） (2024-05-28T00:08:29Z) - LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named
Entity Recognition [67.96794382040547]
$LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。
提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
論文 参考訳（メタデータ） (2024-02-22T14:19:56Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。
本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。
提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
論文 参考訳（メタデータ） (2023-03-02T21:13:56Z) - Exploring Dimensionality Reduction Techniques in Multilingual
Transformers [64.78260098263489]
本稿では,多言語シームス変圧器の性能に及ぼす次元還元法の影響を包括的に考察する。
これは、それぞれ91.58% pm 2.59%$と54.65% pm 32.20%$の次元を平均で減少させることが可能であることを示している。
論文 参考訳（メタデータ） (2022-04-18T17:20:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。