論文の概要: Design and evaluation of an agentic workflow for crisis-related synthetic tweet datasets

• arxiv url: http://arxiv.org/abs/2603.13625v1
• Date: Fri, 13 Mar 2026 22:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.30305
• Title: Design and evaluation of an agentic workflow for crisis-related synthetic tweet datasets
• Title（参考訳）: 危機関連ツイートデータセットのためのエージェントワークフローの設計と評価
• Authors: Roben Delos Reyes, Timothy Douglas, Asanobu Kitamoto,
• Abstract要約: 危機情報学の研究は、Twitterからのツイートを人工知能システムの開発と評価に広く利用してきた。 Twitterのデータアクセスポリシーの最近の変更により、危機に関連する現実世界のつぶやきデータセットのキュレーションがますます困難になっている。 本稿では危機関連ツイートデータセットを生成するエージェントワークフローを提案する。
• 参考スコア（独自算出の注目度）: 0.9877005520976848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Twitter (now X) has become an important source of social media data for situational awareness during crises. Crisis informatics research has widely used tweets from Twitter to develop and evaluate artificial intelligence (AI) systems for various crisis-relevant tasks, such as extracting locations and estimating damage levels from tweets to support damage assessment. However, recent changes in Twitter's data access policies have made it increasingly difficult to curate real-world tweet datasets related to crises. Moreover, existing curated tweet datasets are limited to past crisis events in specific contexts and are costly to annotate at scale. These limitations constrain the development and evaluation of AI systems used in crisis informatics. To address these limitations, we introduce an agentic workflow for generating crisis-related synthetic tweet datasets. The workflow iteratively generates synthetic tweets conditioned on prespecified target characteristics, evaluates them using predefined compliance checks, and incorporates structured feedback to refine them in subsequent iterations. As a case study, we apply the workflow to generate synthetic tweet datasets relevant to post-earthquake damage assessment. We show that the workflow can generate synthetic tweets that capture their target labels for location and damage level. We further demonstrate that the resulting synthetic tweet datasets can be used to evaluate AI systems on damage assessment tasks like geolocalization and damage level prediction. Our results indicate that the workflow offers a flexible and scalable alternative to real-world tweet data curation, enabling the systematic generation of synthetic social media data across diverse crisis events, societal contexts, and crisis informatics applications.
• Abstract（参考訳）: Twitter(現在のX)は、危機時の状況認識のためのソーシャルメディアデータの重要な情報源となっている。 危機情報学の研究は、Twitterのツイートを使用して、位置情報の抽出や、ツイートからの損傷レベルの推定など、さまざまな危機関連タスクのための人工知能(AI)システムの開発と評価を行っている。 しかし、最近のTwitterのデータアクセスポリシーの変更により、危機に関連する現実のツイートデータセットのキュレーションがますます困難になっている。 さらに、既存のキュレートされたツイートデータセットは、特定のコンテキストにおける過去の危機イベントに限定されており、大規模なアノテートにはコストがかかる。 これらの制限は危機情報学で使用されるAIシステムの開発と評価を制限している。 これらの制約に対処するために、危機に関連する合成ツイートデータセットを生成するエージェントワークフローを導入する。 ワークフローは、予め定義されたターゲット特性に条件付けされた合成ツイートを反復的に生成し、事前定義されたコンプライアンスチェックを使用してそれらを評価し、構造化されたフィードバックを組み込んで、その後のイテレーションでそれらを洗練する。 ケーススタディでは、地震後の被害評価に関連する合成ツイートデータセットを生成するためにワークフローを適用した。 ワークフローは、ターゲットラベルを位置と損傷レベルにキャプチャする合成ツイートを生成することができることを示す。 さらに、得られた合成ツイートデータセットを使用して、ジオローカライゼーションや損傷レベル予測のような損傷評価タスクのAIシステムを評価することを実証する。 このワークフローはリアルタイムのつぶやきデータキュレーションに代わる柔軟でスケーラブルな代替手段であり、多様な危機イベント、社会的文脈、危機情報アプリケーションにまたがるソーシャルメディアデータの体系的な生成を可能にする。

関連論文リスト

• Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation [50.87199039334856]
  Retrieval-Augmented Generation (RAG) は知識集約型アプリケーションの基礎となっている。 近年の研究では、悪意あるクエリによって知識抽出攻撃が機密知識ベースコンテンツを回復できることが示されている。 本稿では,RAGシステムに対する知識抽出攻撃のための最初の体系的ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T01:27:46Z)
• CrisisSense-LLM: Instruction Fine-Tuned Large Language Model for Multi-label Social Media Text Classification in Disaster Informatics [50.122541222825156]
  本研究では,事前学習型大規模言語モデル(LLM)の強化による災害テキスト分類への新たなアプローチを提案する。 本手法では,災害関連ツイートから包括的インストラクションデータセットを作成し,それをオープンソース LLM の微調整に用いる。 この微調整モデルでは,災害関連情報の種類,情報化,人的援助の関与など,複数の側面を同時に分類することができる。
  論文  参考訳（メタデータ） (2024-06-16T23:01:10Z)
• Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
  大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。 本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。 1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
  論文  参考訳（メタデータ） (2024-02-19T07:15:59Z)
• CrisisMatch: Semi-Supervised Few-Shot Learning for Fine-Grained Disaster Tweet Classification [51.58605842457186]
  半教師付き, 少数ショットの学習環境下で, 微粒な災害ツイート分類モデルを提案する。 私たちのモデルであるCrisisMatchは、ラベルなしデータと大量のラベルなしデータを用いて、ツイートを関心の細かいクラスに効果的に分類する。
  論文  参考訳（メタデータ） (2023-10-23T07:01:09Z)
• IKDSumm: Incorporating Key-phrases into BERT for extractive Disaster Tweet Summarization [5.299958874647294]
  災害固有のつぶやき要約フレームワークIKDSummを提案する。 IKDSummは、そのツイートのキーフレーズを通じて、災害に関連する各ツイートから重要かつ重要な情報を識別する。 これらのキーワードを使って、ツイートの要約を自動的に生成する。
  論文  参考訳（メタデータ） (2023-05-19T11:05:55Z)
• CrisisLTLSum: A Benchmark for Local Crisis Event Timeline Extraction and Summarization [62.77066949111921]
  本稿では,現在までに利用可能な地域危機イベントタイムラインの最大のデータセットであるCrisisLTLSumについて述べる。 CrisisLTLSumには、山火事、地元の火災、交通、嵐の4つの領域にわたる1000の危機イベントタイムラインが含まれている。 最初の実験では, 両タスクの人的性能と比較して, 強いベースライン性能の間に有意な差があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-25T17:32:40Z)
• Identification of Fine-Grained Location Mentions in Crisis Tweets [7.627299398469962]
  ツイート危機データセットを2つ集め、特定の位置タイプで手動でアノテートします。 第1のデータセットには、さまざまな危機イベントからのツイートが含まれており、第2のデータセットには、世界的な新型コロナウイルス(COVID-19)パンデミックからのツイートが含まれている。 ドメイン内およびドメイン間の両方の設定において、これらのデータセットのシーケンスタグ付けのための最先端ディープラーニングモデルの性能について検討する。
  論文  参考訳（メタデータ） (2021-11-11T17:48:03Z)
• Deep Learning Benchmarks and Datasets for Social Media Image Classification for Disaster Response [5.610924570214424]
  本研究では,災害タイプ検出,情報度分類,被害重大度評価のための新しいデータセットを提案する。 我々は、最先端のディープラーニングモデルをいくつかベンチマークし、有望な結果を得る。 我々は、適切なベースラインを提供するとともに、危機情報化コミュニティにおけるさらなる研究を促進するために、データセットとモデルを公開しています。
  論文  参考訳（メタデータ） (2020-11-17T20:15:49Z)
• CrisisBench: Benchmarking Crisis-related Social Media Datasets for Humanitarian Information Processing [13.11283003017537]
  我々は8つの注釈付きデータセットを統合し、166.1kと141.5kのつぶやきをテクスチャインフォームネスとテキスト指向の分類タスクに提供します。 我々は、CNN、fastText、transformerなど、いくつかのディープラーニングアーカイブを用いて、バイナリクラスとマルチクラスの両方の分類タスクのベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-04-14T19:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。