論文の概要: GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports

• arxiv url: http://arxiv.org/abs/2610.12617v1
• Date: Thu, 08 Oct 2026 18:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.250069
• Title: GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
• Title（参考訳）: Geopolitical QA: インテリジェンスレポートに対する検索と生成のベンチマーク
• Abstract要約: 我々は,415件のオープンソースの地政学的および戦略的インテリジェンスレポートに回答する根拠付き質問のベンチマークを導入する。 本稿では,質問を生成する前にレポートをプロファイリングし,データセットの品質を評価する文書認識パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 2.607403443115235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geopolitical and strategic intelligence reports constitute a rich source of expert knowledge and have increasing value in the current political climate, but their heterogeneity and analytical complexity pose challenges for retrieval-augmented question answering. We introduce a benchmark for grounded question answering over 415 open-source geopolitical and strategic intelligence reports, comprising 5,525 document-grounded question-answer pairs spanning factual, inferential, comparative, and risk-oriented questions. We propose a document-aware generation pipeline that profiles reports before generating questions and validate dataset quality through expert annotation and an LLM-as-judge protocol. Using the benchmark, we evaluate 15 retrieval systems and six open-weight LLMs for RAG. We find that models perform similarly on document-level retrieval, while at the harder chunk level retrieval quality is not driven by embedding-model scale: bge-m3, a mid-size open encoder matches an order of magnitude larger ones and outperforms commercial embedding APIs. In contrast, answer generation remains challenging even given the gold evidence, particularly for inferential and risk-oriented questions.
• Abstract（参考訳）: 地政学的および戦略的情報的報告は、専門家の知識の豊富な源であり、現在の政治環境において価値を増大させるが、その不均一性と分析的な複雑さは、検索強化された質問応答に挑戦する。 本稿では,415件以上のオープンソースの地政学的・戦略的インテリジェンスレポートに対して,事実,推論的,比較的,リスク指向の質問にまたがる5,525件の文書的回答対から回答するグラウンドド質問のベンチマークを紹介する。 本稿では,専門家アノテーションとLCM-as-judgeプロトコルを用いて,質問を生成する前にレポートをプロファイリングし,データセットの品質を検証する文書認識生成パイプラインを提案する。 このベンチマークを用いて,RAGのための15の検索システムと6つのオープンウェイトLLMを評価した。 bge-m3, ミドルサイズのオープンエンコーダは, 規模が大きく, 商業的な埋め込みAPIよりも優れている。 対照的に、金の証拠、特に推論とリスク指向の質問に対しては、回答生成は依然として困難である。

関連論文リスト

• GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks [1.7587442088965224]
  GeoFitBench-LLMは、大規模言語モデルがデータセット、サポートリソース、および自然言語におけるジオ分析要求に必要な制約を推測できるかどうかを評価するためのベンチマークとして導入された。 その結果,推測要求が増大するにつれて,正確な適合性仕様の策定が困難であることが示唆された。
  論文  参考訳（メタデータ） (2026-10-08T19:45:40Z)
• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• Tagging-Augmented Generation: Assisting Language Models in Finding Intricate Knowledge In Long Contexts [6.14987671066697]
  本稿では,Taging-Augmented Generation (TAG) を長文シナリオのための軽量データ拡張戦略として提案する。 NoLima と NovelQA という,難解で直接的な質問応答ベンチマークを2つ加えることで,私たちの仮説を検証する。 コンテキストをタグ付けしたり、あるいはQAプロンプトにタグ定義を追加するだけで、ベースラインよりも一貫したパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-27T03:23:25Z)
• InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
  InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。 本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。 本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-05-21T14:44:40Z)
• DeepNote: Note-Centric Deep Retrieval-Augmented Generation [72.70046559930555]
  Retrieval-Augmented Generation (RAG)は質問応答のための大規模言語モデル(LLM)における事実誤りと幻覚を緩和する 我々は、ノート中心の適応検索により、知識ソースの奥深くで堅牢な探索を実現する適応RAGフレームワークであるDeepNoteを開発した。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。