Fugu-MT 論文翻訳(概要): Zero-Shot Classification of Crisis Tweets Using Instruction-Finetuned Large Language Models

論文の概要: Zero-Shot Classification of Crisis Tweets Using Instruction-Finetuned Large Language Models

arxiv url: http://arxiv.org/abs/2410.00182v1
Date: Mon, 30 Sep 2024 19:33:58 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 10:14:04.685242
Title: Zero-Shot Classification of Crisis Tweets Using Instruction-Finetuned Large Language Models
Title（参考訳）: 命令型大言語モデルを用いた危機ツイートのゼロショット分類
Authors: Emma McDaniel, Samuel Scheele, Jeff Liu,
Abstract要約: ソーシャルメディア投稿のゼロショット分類において,3つの商業的大規模言語モデルを評価する。 1) ポストが人道的な文脈で情報的かどうかを識別し、2) ランク付けし、人道的な階級に関する確率を与える。結果はマクロ、重み付け、二進F1スコアを用いて評価される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Social media posts are frequently identified as a valuable source of open-source intelligence for disaster response, and pre-LLM NLP techniques have been evaluated on datasets of crisis tweets. We assess three commercial large language models (OpenAI GPT-4o, Gemini 1.5-flash-001 and Anthropic Claude-3-5 Sonnet) capabilities in zero-shot classification of short social media posts. In one prompt, the models are asked to perform two classification tasks: 1) identify if the post is informative in a humanitarian context; and 2) rank and provide probabilities for the post in relation to 16 possible humanitarian classes. The posts being classified are from the consolidated crisis tweet dataset, CrisisBench. Results are evaluated using macro, weighted, and binary F1-scores. The informative classification task, generally performed better without extra information, while for the humanitarian label classification providing the event that occurred during which the tweet was mined, resulted in better performance. Further, we found that the models have significantly varying performance by dataset, which raises questions about dataset quality.
Abstract（参考訳）: ソーシャルメディア投稿は、災害対応のためのオープンソースのインテリジェンスの貴重な情報源としてしばしば認識されており、LLM以前のNLP技術は危機ツイートのデータセットで評価されている。ソーシャルメディア投稿のゼロショット分類において,3つの商用大言語モデル(OpenAI GPT-4o, Gemini 1.5-flash-001, Anthropic Claude-3-5 Sonnet)を評価した。 1つのプロンプトでは、モデルが2つの分類タスクを実行するように要求される。 1) 人道的文脈でその地位が情報であるか否かを識別し,かつ 2) 人道階級の可能性のある16の階級に関して、その地位のランクと確率を提供する。分類されている投稿は、統合危機のツイートデータセットであるCrisisBenchのものだ。結果はマクロ、重み付け、二進F1スコアを用いて評価される。情報的分類タスクは、一般的に余分な情報なしでより良く機能し、一方で、ツイートが採掘された時に起こった出来事を提供する人道的なラベル分類では、パフォーマンスが向上した。さらに,モデルの性能はデータセットによって著しく変化しており,データセットの品質に関する疑問が提起されている。

関連論文リスト

ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。 BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文参考訳（メタデータ） (2024-04-30T17:06:20Z)
CrisisMatch: Semi-Supervised Few-Shot Learning for Fine-Grained Disaster Tweet Classification [51.58605842457186]
半教師付き, 少数ショットの学習環境下で, 微粒な災害ツイート分類モデルを提案する。私たちのモデルであるCrisisMatchは、ラベルなしデータと大量のラベルなしデータを用いて、ツイートを関心の細かいクラスに効果的に分類する。
論文参考訳（メタデータ） (2023-10-23T07:01:09Z)
Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文参考訳（メタデータ） (2023-07-05T20:16:20Z)
Coping with low data availability for social media crisis message categorisation [3.0255457622022495]
この論文は、緊急対応のための危機メッセージの分類において、データ可用性の低い課題に対処することに焦点を当てている。これはまず、過去の危機イベントから注釈付きデータから分類モデルを学ぶことを含む、この問題の解決策としてドメイン適応を提示する。モデルが過去の複数のイベントに対してトレーニングされ、進行中の複数のイベントに適応する多対多適応では、マルチタスク学習アプローチが提案される。
論文参考訳（メタデータ） (2023-05-26T19:08:24Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
Enhancing Crisis-Related Tweet Classification with Entity-Masked Language Modeling and Multi-Task Learning [0.30458514384586394]
本稿では,マルチタスク学習問題として,エンティティ・マスク言語モデリングと階層型マルチラベル分類の組み合わせを提案する。我々は,TREC-ISデータセットからのつぶやきに対する評価を行い,動作可能な情報型に対して最大10%のF1スコアの絶対的なパフォーマンス向上を示す。
論文参考訳（メタデータ） (2022-11-21T13:54:10Z)
Distant finetuning with discourse relations for stance classification [55.131676584455306]
そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
論文参考訳（メタデータ） (2022-04-27T04:24:35Z)
ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
論文参考訳（メタデータ） (2022-01-04T20:08:17Z)
I-AID: Identifying Actionable Information from Disaster-related Tweets [0.0]
ソーシャルメディアは、被災者、寄付、支援要請に関する貴重なデータを提供することによって、災害管理において重要な役割を担っている。ツイートを自動的にマルチラベル情報タイプに分類するマルチモデルアプローチであるI-AIDを提案する。以上の結果から,I-AIDはTREC-ISデータセットおよびCOVID-19 Tweetsにおいて,平均F1得点の6%,+4%において最先端のアプローチよりも優れていた。
論文参考訳（メタデータ） (2020-08-04T19:07:50Z)
CrisisBench: Benchmarking Crisis-related Social Media Datasets for Humanitarian Information Processing [13.11283003017537]
我々は8つの注釈付きデータセットを統合し、166.1kと141.5kのつぶやきをテクスチャインフォームネスとテキスト指向の分類タスクに提供します。我々は、CNN、fastText、transformerなど、いくつかのディープラーニングアーカイブを用いて、バイナリクラスとマルチクラスの両方の分類タスクのベンチマークを提供する。
論文参考訳（メタデータ） (2020-04-14T19:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。