論文の概要: SmartBook: AI-Assisted Situation Report Generation for Intelligence Analysts
- arxiv url: http://arxiv.org/abs/2303.14337v3
- Date: Mon, 27 May 2024 23:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 04:46:21.507822
- Title: SmartBook: AI-Assisted Situation Report Generation for Intelligence Analysts
- Title（参考訳）: SmartBook: インテリジェンスアナリストのためのAI支援処理レポート生成
- Authors: Revanth Gangi Reddy, Daniel Lee, Yi R. Fung, Khanh Duy Nguyen, Qi Zeng, Manling Li, Ziqi Wang, Clare Voss, Heng Ji,
- Abstract要約: この研究は、状況報告生成におけるAI支援のためのインテリジェンスアナリストの実践と嗜好を特定する。
本稿では,大量のニュースデータから状況報告を自動生成するフレームワークSmartBookを紹介する。
我々は,SmartBookの総合的な評価を行い,ユーザによるコンテントレビューと編集調査を併用し,正確な状況報告を生成する上でのSmartBookの有効性を明らかにした。
- 参考スコア（独自算出の注目度）: 55.73424958012229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Timely and comprehensive understanding of emerging events is crucial for effective decision-making; automating situation report generation can significantly reduce the time, effort, and cost for intelligence analysts. In this work, we identify intelligence analysts' practices and preferences for AI assistance in situation report generation to guide the design strategies for an effective, trust-building interface that aligns with their thought processes and needs. Next, we introduce SmartBook, an automated framework designed to generate situation reports from large volumes of news data, creating structured reports by automatically discovering event-related strategic questions. These reports include multiple hypotheses (claims), summarized and grounded to sources with factual evidence, to promote in-depth situation understanding. Our comprehensive evaluation of SmartBook, encompassing a user study alongside a content review with an editing study, reveals SmartBook's effectiveness in generating accurate and relevant situation reports. Qualitative evaluations indicate over 80% of questions probe for strategic information, and over 90% of summaries produce tactically useful content, being consistently favored over summaries from a large language model integrated with web search. The editing study reveals that minimal information is removed from the generated text (under 2.5%), suggesting that SmartBook provides analysts with a valuable foundation for situation reports
- Abstract（参考訳）: 状況報告の自動生成は、インテリジェンスアナリストの時間、労力、コストを大幅に削減する。
本研究では、インテリジェンスアナリストによる状況報告生成におけるAI支援の実践と嗜好を特定し、思考プロセスやニーズに沿った効果的な信頼構築インターフェースの設計戦略を導出する。
次に,SmartBookを紹介する。このフレームワークは,大量のニュースデータから状況報告を自動生成し,イベント関連の戦略的質問を自動的に発見して構造化レポートを作成する。
これらの報告には、複数の仮説(主張)が含まれており、事実的証拠のある情報源に要約され、詳細な状況理解を促進する。
我々は,SmartBookの総合的な評価を行い,ユーザによるコンテントレビューと編集調査を併用し,正確な状況報告を生成する上でのSmartBookの有効性を明らかにした。
質的な評価は、80%以上の質問が戦略的情報を探索し、90%以上のサマリーが戦術的に有用なコンテンツを生成し、Web検索と統合された大規模な言語モデルからのサマリーよりも一貫して好まれていることを示している。
編集調査では、生成されたテキストから最小限の情報(2.5%以下)が取り除かれ、SmartBookがアナリストに状況を報告するための貴重な基盤を提供することを示している。
関連論文リスト
- DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - Practical aspects for the creation of an audio dataset from field recordings with optimized labeling budget with AI-assisted strategy [0.42855555838080833]
クラウドソーシングよりも専門家ラベルを用いたアクティブラーニング(AL)の重要性を強調した。
ALは、人間のラベルとAIモデルを組み合わせてラベルの予算を最適化する反復的なプロセスである。
このフレームワークは、小さなチームで5ヶ月にわたって6540の10秒のオーディオサンプルをラベル付けした。
論文 参考訳（メタデータ） (2024-05-28T13:14:26Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳（メタデータ） (2024-01-29T19:00:01Z) - AGIR: Automating Cyber Threat Intelligence Reporting with Natural
Language Generation [15.43868945929965]
我々は,CTIレポートの変換ツールであるAGIR(Automatic Generation of Intelligence Reports)を紹介する。
AGIRの主な目的は、包括的インテリジェンスレポートを生成するための労働集約的なタスクを自動化することで、セキュリティアナリストを強化することである。
我々はAGIRのレポート生成能力を定量的かつ質的に評価する。
論文 参考訳（メタデータ） (2023-10-04T08:25:37Z) - Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。
この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。
データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
論文 参考訳（メタデータ） (2023-09-17T20:28:17Z) - Paradigm Shift in Sustainability Disclosure Analysis: Empowering
Stakeholders with CHATREPORT, a Language Model-Based Tool [10.653984116770234]
本稿では,企業サステナビリティレポートの分析を自動化するために,専門知識を持つ大規模言語モデル(LLM)を強化する新たなアプローチを提案する。
当社はCHATREPORTを認定し、企業における気候変動リスクの開示を評価するための第1のユースケースに適用する。
論文 参考訳（メタデータ） (2023-06-27T14:46:47Z) - Active Learning for Abstractive Text Summarization [50.79416783266641]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。
ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳（メタデータ） (2023-01-09T10:33:14Z) - A Taxonomy and Archetypes of Business Analytics in Smart Manufacturing [0.0]
ビジネス分析はスマートマニュファクチャリングの重要な要因だ。
しかし、研究者や実践者は、進歩の追跡と分野における新たな知識獲得に苦慮している。
我々は、スマートマニュファクチャリングにおけるビジネス分析の古型を導出するだけでなく、四部分類を開発する。
論文 参考訳（メタデータ） (2021-10-12T16:13:45Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z) - Edge Intelligence: Architectures, Challenges, and Applications [22.26768649366329]
エッジインテリジェンス(Edge Intelligence)は、データ収集、キャッシュ、処理、分析のための一連の接続されたシステムとデバイスを指す。
この調査記事は、エッジインテリジェンスとその応用分野に関する包括的紹介を提供する。
論文 参考訳（メタデータ） (2020-03-26T22:24:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。