論文の概要: Meta learning with language models: Challenges and opportunities in the
classification of imbalanced text
- arxiv url: http://arxiv.org/abs/2310.15019v2
- Date: Tue, 24 Oct 2023 15:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 11:13:35.454911
- Title: Meta learning with language models: Challenges and opportunities in the
classification of imbalanced text
- Title（参考訳）: 言語モデルを用いたメタ学習:不均衡テキストの分類における挑戦と機会
- Authors: Apostol Vassilev and Honglan Jin and Munawar Hasan
- Abstract要約: 異なるテキスト表現で構築された個々のモデルを組み合わせたメタ学習手法(MLT)を提案する。
解析により, 得られた手法は数値的に安定であり, 合理的な組み合わせ重みが得られることを示した。
また,提案手法の統計的に有意な利点を示すために,計算結果も提供する。
- 参考スコア（独自算出の注目度）: 0.8663897798518103
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Detecting out of policy speech (OOPS) content is important but difficult.
While machine learning is a powerful tool to tackle this challenging task, it
is hard to break the performance ceiling due to factors like quantity and
quality limitations on training data and inconsistencies in OOPS definition and
data labeling. To realize the full potential of available limited resources, we
propose a meta learning technique (MLT) that combines individual models built
with different text representations. We analytically show that the resulting
technique is numerically stable and produces reasonable combining weights. We
combine the MLT with a threshold-moving (TM) technique to further improve the
performance of the combined predictor on highly-imbalanced in-distribution and
out-of-distribution datasets. We also provide computational results to show the
statistically significant advantages of the proposed MLT approach.
All authors contributed equally to this work.
- Abstract（参考訳）: ポリシースピーチ(OOPS)の内容の検出は重要だが難しい。
機械学習は、この困難なタスクに取り組む強力なツールですが、トレーニングデータの量や品質の制限、oops定義とデータラベリングの不整合といった要因によって、パフォーマンスの天井を壊すことは困難です。
利用可能な限られたリソースの完全な可能性を実現するため,異なるテキスト表現で構築された個々のモデルを組み合わせたメタ学習手法(MLT)を提案する。
解析により, この手法は数値的に安定であり, 合理的な組合せ重みが得られることを示した。
我々は,MLTとしきい値移動(TM)技術を組み合わせることで,高度に不均衡な分布内および分布外データセット上での予測器の性能をさらに向上する。
また,提案手法の統計的に有意な利点を示す計算結果も提供する。
すべての著者がこの作品に等しく貢献した。
関連論文リスト
- Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。
データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。
本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T16:19:53Z) - PAL: Prompting Analytic Learning with Missing Modality for Multi-Modal Class-Incremental Learning [42.00851701431368]
マルチモーダルクラスインクリメンタルラーニング(MMCIL)は、音声と視覚、画像とテキストのペアのようなマルチモーダルデータを活用する。
重要な課題は、漸進的な学習フェーズにおけるモダリティの欠如である。
PALは, MMCILに適合した, モダリティの欠如を前提とした, 斬新なフレームワークである。
論文 参考訳（メタデータ） (2025-01-16T08:04:04Z) - How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Semantic Meta-Split Learning: A TinyML Scheme for Few-Shot Wireless Image Classification [50.28867343337997]
本研究は,TinyMLを用いた無線画像分類のためのセマンティック・コミュニケーション・フレームワークを提案する。
我々は、プライバシ保護を確保しつつ、エンドユーザーによって実行される計算を制限するために分割学習を利用する。
メタ学習は、データ可用性の懸念を克服し、同様のトレーニングされたタスクを利用することで、トレーニングを高速化する。
論文 参考訳（メタデータ） (2024-09-03T05:56:55Z) - Text Serialization and Their Relationship with the Conventional Paradigms of Tabular Machine Learning [0.0]
本研究では,機械学習タスクにおける特徴表現と予測に言語モデル(LM)をどのように使用できるかを検討する。
本研究は,新しいLM技術が表型機械学習の伝統的なパラダイムとどのように比較されるかを評価する。
以上の結果から,現在の事前学習モデルは従来の手法に取って代わるべきではないことがわかった。
論文 参考訳（メタデータ） (2024-06-19T21:19:37Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。
従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。
多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
論文 参考訳（メタデータ） (2024-05-28T00:08:29Z) - LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named
Entity Recognition [67.96794382040547]
$LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。
提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
論文 参考訳（メタデータ） (2024-02-22T14:19:56Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。