論文の概要: FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented
Generation with an LLM
- arxiv url: http://arxiv.org/abs/2311.02597v1
- Date: Sun, 5 Nov 2023 08:34:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 16:55:06.403129
- Title: FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented
Generation with an LLM
- Title(参考訳): FloodBrain: LLMによるWebベースの検索Augmented Generationによる洪水災害報告
- Authors: Grace Colverd, Paul Darm, Leonard Silverberg, and Noah Kasmanoff
- Abstract要約: FloodBrain(floodbrain.com)に組み込んだ洗練されたパイプラインを導入する。
当社のパイプラインは,Web検索結果からの情報を同化して,洪水イベントに関する詳細な,正確なレポートを生成する。
GPT-4に割り当てられたスコアと人的評価者によるスコアとの間には顕著な相関関係がみられた。
- 参考スコア(独自算出の注目度): 0.9374652839580183
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fast disaster impact reporting is crucial in planning humanitarian
assistance. Large Language Models (LLMs) are well known for their ability to
write coherent text and fulfill a variety of tasks relevant to impact
reporting, such as question answering or text summarization. However, LLMs are
constrained by the knowledge within their training data and are prone to
generating inaccurate, or "hallucinated", information. To address this, we
introduce a sophisticated pipeline embodied in our tool FloodBrain
(floodbrain.com), specialized in generating flood disaster impact reports by
extracting and curating information from the web. Our pipeline assimilates
information from web search results to produce detailed and accurate reports on
flood events. We test different LLMs as backbones in our tool and compare their
generated reports to human-written reports on different metrics. Similar to
other studies, we find a notable correlation between the scores assigned by
GPT-4 and the scores given by human evaluators when comparing our generated
reports to human-authored ones. Additionally, we conduct an ablation study to
test our single pipeline components and their relevancy for the final reports.
With our tool, we aim to advance the use of LLMs for disaster impact reporting
and reduce the time for coordination of humanitarian efforts in the wake of
flood disasters.
- Abstract(参考訳): 人道支援の計画には,迅速な災害影響報告が不可欠である。
大規模言語モデル(llm)は、コヒーレントなテキストを書き、質問応答やテキスト要約など、インパクトレポートに関連するさまざまなタスクをこなす能力でよく知られている。
しかし、LSMはトレーニングデータ内の知識によって制約され、不正確な、あるいは「ハロシン化」情報を生成する傾向にある。
そこで本研究では,web から情報抽出・収集し,洪水災害影響レポートの作成に特化する,当社のツールfloodbrain (floodbrain.com) に具体化された洗練されたパイプラインを紹介する。
当社のパイプラインは,web検索結果からの情報を同一化し,洪水イベントに関する詳細な正確なレポートを生成する。
ツールのバックボーンとして異なるLSMをテストし、生成されたレポートと異なるメトリクスに関する人によるレポートを比較します。
他の研究と同様に、GPT-4で割り当てられたスコアと人間の評価者によるスコアとの間には顕著な相関関係がみられた。
さらに,最終報告に対する単一パイプラインコンポーネントとその関連性をテストするためのアブレーション調査を実施している。
本ツールでは,災害被害報告におけるLLMの利用を推進し,洪水災害時の人道的努力の調整に要する時間を短縮することを目的としている。
関連論文リスト
- Monitoring Critical Infrastructure Facilities During Disasters Using Large Language Models [8.17728833322492]
クリティカルインフラストラクチャー施設(CIF)は、特に大規模緊急時において、コミュニティの機能に不可欠である。
本稿では,大規模言語モデル(LLM)の適用の可能性を探り,自然災害によるCIFの状況を監視する。
我々は2つの異なる国の災害イベントからソーシャルメディアデータを分析し、CIFに対する報告された影響と、その影響の重大さと運用状況を明らかにする。
論文 参考訳(メタデータ) (2024-04-18T19:41:05Z) - Resilience of Large Language Models for Noisy Instructions [38.25524275497566]
大規模言語モデル(LLM)は、ヒューマンコマンドを解釈し、様々なタスク間でテキストを生成する強力なツールとして登場した。
本研究では, ASR(Automatic Speech Recognition)エラー, OCR(Optical Character Recognition)エラー, 文法的誤り, 気まぐれな内容を含む5種類の障害に対するLLMのレジリエンスについて検討した。
以上の結果から,一部のLCMは特定の騒音に対する耐性を示すが,全体的な性能は著しく低下することが明らかとなった。
論文 参考訳(メタデータ) (2024-04-15T12:55:08Z) - Causality Extraction from Nuclear Licensee Event Reports Using a Hybrid Framework [3.1139106894905972]
本稿では,核ライセンスイベントレポートからの因果検出と抽出のためのハイブリッドフレームワークを提案する。
因果関係分析のための20,129のテキストサンプルを用いたLERコーパスをコンパイルし,因果関係検出のための深層学習に基づくアプローチを構築した。
論文 参考訳(メタデータ) (2024-04-08T16:39:34Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia [68.00056517461402]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - CrisisMatch: Semi-Supervised Few-Shot Learning for Fine-Grained Disaster
Tweet Classification [51.58605842457186]
半教師付き, 少数ショットの学習環境下で, 微粒な災害ツイート分類モデルを提案する。
私たちのモデルであるCrisisMatchは、ラベルなしデータと大量のラベルなしデータを用いて、ツイートを関心の細かいクラスに効果的に分類する。
論文 参考訳(メタデータ) (2023-10-23T07:01:09Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - WASA: WAtermark-based Source Attribution for Large Language
Model-Generated Data [60.759755177369364]
大言語モデル(LLM)は、ソースに関する情報を含む埋め込み透かしを持つ合成テキストを生成する。
本稿では,我々のアルゴリズム設計により鍵特性を満たすWAtermarking for Source Attribution (WASA)フレームワークを提案する。
我々のフレームワークは、効果的な情報源の属性とデータの出所を達成します。
論文 参考訳(メタデータ) (2023-10-01T12:02:57Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Human-in-the-Loop for Data Collection: a Multi-Target Counter Narrative
Dataset to Fight Online Hate Speech [10.323063834827416]
カウンター・ナラティブと呼ばれる、情報や非攻撃的な反応によるヘイトフルコンテンツの影響を損なうことは、より健康的なオンラインコミュニティを実現するための解決策として浮上している。
本稿では、生成言語モデルを反復的に洗練する新しいヒューマン・イン・ザ・ループデータ収集手法を提案する。
その結果、この方法論はスケーラブルであり、多種多様で斬新で費用対効果の高いデータ収集を促進することが示されている。
論文 参考訳(メタデータ) (2021-07-19T09:45:54Z) - Localized Flood DetectionWith Minimal Labeled Social Media Data Using
Transfer Learning [3.964047152162558]
ソーシャルセンシングモデル(Twitter)を用いた局所的な洪水検出の問題点について検討する。
本研究は,緊急意思決定や救助活動,早期警戒等のために,洪水関連のアップデートや通知を市当局に提供する上で極めて有効である。
論文 参考訳(メタデータ) (2020-02-10T20:17:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。