論文の概要: Monitoring Critical Infrastructure Facilities During Disasters Using Large Language Models
- arxiv url: http://arxiv.org/abs/2404.14432v1
- Date: Thu, 18 Apr 2024 19:41:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 18:27:13.916074
- Title: Monitoring Critical Infrastructure Facilities During Disasters Using Large Language Models
- Title(参考訳): 大規模言語モデルを用いた災害時のインフラ設備の監視
- Authors: Abdul Wahab Ziaullah, Ferda Ofli, Muhammad Imran,
- Abstract要約: クリティカルインフラストラクチャー施設(CIF)は、特に大規模緊急時において、コミュニティの機能に不可欠である。
本稿では,大規模言語モデル(LLM)の適用の可能性を探り,自然災害によるCIFの状況を監視する。
我々は2つの異なる国の災害イベントからソーシャルメディアデータを分析し、CIFに対する報告された影響と、その影響の重大さと運用状況を明らかにする。
- 参考スコア(独自算出の注目度): 8.17728833322492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Critical Infrastructure Facilities (CIFs), such as healthcare and transportation facilities, are vital for the functioning of a community, especially during large-scale emergencies. In this paper, we explore a potential application of Large Language Models (LLMs) to monitor the status of CIFs affected by natural disasters through information disseminated in social media networks. To this end, we analyze social media data from two disaster events in two different countries to identify reported impacts to CIFs as well as their impact severity and operational status. We employ state-of-the-art open-source LLMs to perform computational tasks including retrieval, classification, and inference, all in a zero-shot setting. Through extensive experimentation, we report the results of these tasks using standard evaluation metrics and reveal insights into the strengths and weaknesses of LLMs. We note that although LLMs perform well in classification tasks, they encounter challenges with inference tasks, especially when the context/prompt is complex and lengthy. Additionally, we outline various potential directions for future exploration that can be beneficial during the initial adoption phase of LLMs for disaster response tasks.
- Abstract(参考訳): 医療や交通機関などの重要なインフラ施設(CIF)は、特に大規模緊急事態時に地域社会の機能に欠かせない存在である。
本稿では,大規模言語モデル(LLM)の適用の可能性を探り,自然災害によるCIFの状況を監視する。
この目的のために,2つの異なる国の災害イベントのソーシャルメディアデータを分析し,CIFに対する報告された影響と,その影響の深刻さと運用状況を明らかにする。
我々は最先端のオープンソースLLMを用いて、検索、分類、推論を含む計算タスクを、すべてゼロショット設定で実行します。
広範にわたる実験を通じて,これらの課題の成果を標準評価指標を用いて報告し,LLMの強みと弱みに関する知見を明らかにする。
LLMは分類タスクにおいてよく機能するが、特にコンテキスト/プロンプトが複雑で長い場合、推論タスクの課題に直面することに留意する。
さらに,災害対応タスクへのLLMの導入初期において有用となる,今後の探索に向けた様々な方向性について概説する。
関連論文リスト
- CausalBench: A Comprehensive Benchmark for Causal Learning Capability of Large Language Models [27.362012903540492]
因果性は、現実世界のシナリオにおけるデータ分散の背後にある基本的な原則を明らかにする。
大規模言語モデル(LLM)は、アウトプットの説明、新しいエビデンスへの適応、反事実の生成などを通じて、因果関係がそれらの効果に直接影響を与えることを理解することができる。
本稿では,LLMの因果理解能力を評価するために,CausalBenchという包括的なベンチマークを提案する。
論文 参考訳(メタデータ) (2024-04-09T14:40:08Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - On Catastrophic Inheritance of Large Foundation Models [56.169678293678885]
大ファンデーションモデル(LFM)は素晴らしいパフォーマンスを誇示している。しかし、彼らの神話的および解釈されていないポテンシャルについて大きな懸念が持ち上がっている。
我々は, LFMに深く根ざした「破滅的継承」という, 無視された問題を特定することを提案する。
この問題の背景にある課題を議論し、事前学習と下流適応の両方からLFMの破滅的な継承を理解するためのフレームワークであるUIMを提案する。
論文 参考訳(メタデータ) (2024-02-02T21:21:55Z) - Security and Privacy Challenges of Large Language Models: A Survey [2.9480813253164535]
LLM(Large Language Models)は、テキストの生成や要約、言語翻訳、質問応答など、非常に優れた機能を示し、複数の分野に貢献している。
これらのモデルは、Jailbreak攻撃、データ中毒攻撃、Personally Identible Information(PII)漏洩攻撃など、セキュリティやプライバシ攻撃にも脆弱である。
この調査では、トレーニングデータとユーザの両方に対するLLMのセキュリティとプライバシの課題と、輸送、教育、医療といったさまざまな領域におけるアプリケーションベースのリスクについて、徹底的にレビューする。
論文 参考訳(メタデータ) (2024-01-30T04:00:54Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳(メタデータ) (2023-11-15T14:26:30Z) - Revisit Input Perturbation Problems for LLMs: A Unified Robustness
Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。
具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。
本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
論文 参考訳(メタデータ) (2023-10-10T10:22:05Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Assessing Hidden Risks of LLMs: An Empirical Study on Robustness,
Consistency, and Credibility [37.682136465784254]
我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。
入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。
そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
論文 参考訳(メタデータ) (2023-05-15T15:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。