論文の概要: Transfer Learning for Power Outage Detection Task with Limited Training
Data
- arxiv url: http://arxiv.org/abs/2305.17817v1
- Date: Sun, 28 May 2023 22:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:26:49.275469
- Title: Transfer Learning for Power Outage Detection Task with Limited Training
Data
- Title（参考訳）: 限られたトレーニングデータを用いた停電検出タスクの転送学習
- Authors: Olukunle Owolabi
- Abstract要約: 停電の早期検出は、信頼性の高い配電システムの維持に不可欠である。
本研究では,限られたラベル付きデータによる障害検出における伝達学習と言語モデルの利用について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Early detection of power outages is crucial for maintaining a reliable power
distribution system. This research investigates the use of transfer learning
and language models in detecting outages with limited labeled data. By
leveraging pretraining and transfer learning, models can generalize to unseen
classes.
Using a curated balanced dataset of social media tweets related to power
outages, we conducted experiments using zero-shot and few-shot learning. Our
hypothesis is that Language Models pretrained with limited data could achieve
high performance in outage detection tasks over baseline models. Results show
that while classical models outperform zero-shot Language Models, few-shot
fine-tuning significantly improves their performance. For example, with 10%
fine-tuning, BERT achieves 81.3% accuracy (+15.3%), and GPT achieves 74.5%
accuracy (+8.5%). This has practical implications for analyzing and localizing
outages in scenarios with limited data availability.
Our evaluation provides insights into the potential of few-shot fine-tuning
with Language Models for power outage detection, highlighting their strengths
and limitations. This research contributes to the knowledge base of leveraging
advanced natural language processing techniques for managing critical
infrastructure.
- Abstract（参考訳）: 停電の早期検出は信頼性の高い配電システムの維持に不可欠である。
本研究では,限定ラベルデータによる障害検出におけるトランスファー学習と言語モデルの利用について検討する。
事前トレーニングと転送学習を活用することで、モデルは未知のクラスに一般化することができる。
停電に関連するソーシャルメディアツイートのバランスの取れたデータセットを用いて,ゼロショット学習と少数ショット学習を用いた実験を行った。
私たちの仮説は、限られたデータで事前学習された言語モデルは、ベースラインモデルよりも停止検出タスクにおいて高いパフォーマンスを達成できるというものです。
その結果、古典的なモデルはゼロショット言語モデルよりも優れているが、少数ショットの微調整は性能を大幅に改善している。
例えば、10%の微調整で、BERTは81.3%(+15.3%)、GPTは74.5%(+8.5%)である。
これは、データ可用性に制限のあるシナリオで障害を分析し、ローカライズするために、実用的な意味を持つ。
私たちの評価は、停電検出のための言語モデルによる、少数ショットの微調整の可能性に関する洞察を与え、その強みと限界を強調します。
本研究は、重要なインフラを管理するために高度な自然言語処理技術を活用するための知識基盤に寄与する。
関連論文リスト
- What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Investigating the Impact of Semi-Supervised Methods with Data Augmentation on Offensive Language Detection in Romanian Language [2.2823100315094624]
攻撃的な言語検出は、今日のデジタルランドスケープにおいて重要なタスクです。
堅牢な攻撃的言語検出モデルを構築するには、大量のラベル付きデータが必要である。
半教師付き学習はラベル付きおよびラベルなしのデータを活用することで実現可能なソリューションを提供する。
論文 参考訳（メタデータ） (2024-07-29T15:02:51Z) - Sexism Detection on a Data Diet [14.899608305188002]
モデルのトレーニング中に、インフルエンススコアを利用してデータポイントの重要性を推定する方法を示します。
ドメイン外の3つのデータセット上で異なるプルーニング戦略を用いて、データプルーニングに基づいてトレーニングされたモデル性能を評価する。
論文 参考訳（メタデータ） (2024-06-07T12:39:54Z) - Dissecting vocabulary biases datasets through statistical testing and
automated data augmentation for artifact mitigation in Natural Language
Inference [3.154631846975021]
我々は、データセットのアーティファクトを調査し、これらの問題に対処するための戦略を開発することに重点を置いている。
文字レベルから単語レベルにまたがる複数の自動データ拡張戦略を提案する。
実験により,提案手法はモデル精度を効果的に向上し,バイアスを最大0.66%,バイアスを1.14%低減することを示した。
論文 参考訳（メタデータ） (2023-12-14T08:46:26Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳（メタデータ） (2022-07-15T11:39:37Z) - ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient
Zero-Shot Learning [97.2907428983142]
ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。
金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:38:48Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳（メタデータ） (2021-11-02T15:48:28Z) - Towards Few-Shot Fact-Checking via Perplexity [40.11397284006867]
そこで本研究では,言語モデルの強力な伝達学習能力をパープレキシティスコアで活用する新しい手法を提案する。
私たちの方法論は、F1-Macroメトリックの絶対10%以上のメジャークラスベースラインをすでに上回ることができます。
COVID-19に関連する2つの新しいファクトチェックデータセットを構築し、公開します。
論文 参考訳（メタデータ） (2021-03-17T09:43:19Z) - Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文 参考訳（メタデータ） (2020-12-04T08:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。