論文の概要: Lightweight Machine Learning for Classifying Disaster-Related Social Media Posts
- arxiv url: http://arxiv.org/abs/2610.24652v1
- Date: Sat, 17 Oct 2026 11:57:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:12:33.514027
- Title: Lightweight Machine Learning for Classifying Disaster-Related Social Media Posts
- Title(参考訳): 災害関連ソーシャルメディアポストの分類のための軽量機械学習
- Abstract要約: 災害関連のソーシャルメディア投稿を人道的情報ラベルに分類することは、個々のメッセージは通常短く、文脈に制限があるため、難しい。
本研究は,これらの条件下で,軽量な語彙学習手法が効果的かつ効率的な分類を実現することができるかどうかを考察する。
- 参考スコア(独自算出の注目度): 0.9883261192383612
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classifying disaster-related social-media posts into humanitarian information labels is challenging because individual messages are typically short and context-limited, humanitarian categories can overlap semantically, and the CrisisBench label distribution is strongly imbalanced. This study investigates whether lightweight lexical machine-learning methods can provide effective and computationally efficient classification under these conditions. Using the CrisisBench v1.0 English humanitarian task, comprising 87,455 records across predefined Train, Development and Test splits, we conduct a controlled comparison of TF-IDF representations and lightweight classifiers, with Macro-F1 as the primary model-selection metric. Beyond aggregate predictive performance, the study jointly examines per-label behaviour, directional error patterns, relative decision margins, computational requirements, and the effect of domain-specific training through a tropical-cyclone specialist model. The selected balanced LinearSVC with unigram-bigram TF-IDF and C=0.5 achieved an Accuracy of 0.8282, a Macro-F1 of 0.6578 and a Weighted-F1 of 0.8315 on the held-out Test split. Lower decision margins were substantially associated with prediction errors, while the tropical-cyclone specialist achieved modestly higher in-domain aggregate performance with substantially lower feature and fitting requirements. The study contributes a controlled, label-sensitive and resource-aware evaluation of lightweight humanitarian text classification that characterises not only aggregate performance, but also where these models fail and how their behaviour changes under domain-specific training.
- Abstract(参考訳): 災害関連ソーシャルメディア投稿を人道情報ラベルに分類することは、個々のメッセージが一般的に短く、文脈に制限されるため、人道的カテゴリーは意味的に重複し、CrisisBenchラベルの分布は強く不均衡であるため、困難である。
本研究は,これらの条件下で,軽量な語彙学習手法が効果的かつ効率的な分類を実現することができるかどうかを考察する。
CrisisBench v1.0 は、事前定義された列車、開発、テストの分割で87,455 レコードを含む人道的タスクを用いて、TF-IDF 表現と軽量な分類器の制御比較を行い、マクロ-F1 を主要なモデル選択指標とした。
この研究は、総合的な予測性能の他に、ラベルごとの行動、方向性の誤りパターン、相対的な決定マージン、計算条件、および熱帯サイクロン専門家モデルによるドメイン固有のトレーニングの効果を共同で検討した。
1igram-bigram TF-IDFとC=0.5のバランスの取れたリニアSVCは0.8282、マクロF1は0.6578、重み付きF1は0.8315の精度を達成した。
低判定マージンは予測誤差に大きく関連し, 熱帯サイクロン専門家は, 極めて低い特徴と適合条件で, ドメイン内アグリゲーション性能をわずかに向上した。
この研究は、人文的テキスト分類の制御され、ラベルに敏感で、リソースを意識した評価に寄与する。これは、総合的なパフォーマンスだけでなく、これらのモデルが失敗する場所や、ドメイン固有のトレーニング下での行動がどのように変化するかを特徴付ける。
関連論文リスト
- Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2 [0.0]
メンバーシップ推論攻撃(MIA)は、モデルをトレーニングするために特定のレコードが使用されたかどうかを判断しようとする。
本稿では,GLUE SST-2感情データセットを用いたテキスト分類におけるメンバシップ推定脆弱性のベンチマークを提案する。
論文 参考訳(メタデータ) (2026-09-10T00:53:20Z) - Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳(メタデータ) (2026-08-20T06:26:03Z) - Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidelines in Randomized Controlled Trials: A Methodological Evaluation Study [7.142913983218931]
本研究は,現代LPMの精度と信頼性を評価することを目的とした。
各種医療専門分野にまたがる150個のRCTの黄金標準データセットを構築した。
トップパフォーマンスモデルであるGemini-2.5-FlashとDeepSeek-R1は、それぞれ0.280と0.282のコーエンのカッパ係数の0.634とほぼ同じマクロF1スコアを達成した。
論文 参考訳(メタデータ) (2025-11-17T08:05:15Z) - Feasible Learning [78.6167929413604]
本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。
大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
論文 参考訳(メタデータ) (2025-01-24T20:39:38Z) - Electroencephalogram Emotion Recognition via AUC Maximization [0.0]
不均衡データセットは神経科学、認知科学、医学診断などの分野で大きな課題を提起する。
本研究は,DEAPデータセットにおけるライキングラベルを例として,イシュークラスの不均衡に対処する。
論文 参考訳(メタデータ) (2024-08-16T19:08:27Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳(メタデータ) (2022-06-23T10:25:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。