論文の概要: PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts

• arxiv url: http://arxiv.org/abs/2605.14002v1
• Date: Wed, 13 May 2026 18:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-16 00:43:04.07458
• Title: PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts
• Title（参考訳）: PolitNuggets: 長期にわたる政治協定のエージェント発見のベンチマーク
• Authors: Yifei Zhu,
• Abstract要約: 現実世界の使用には、情報源から「ロングテール」事実を発見し合成するモデルが必要である。 我々は,400人のグローバルエリートを対象とした政治伝記構築によるエージェント情報合成のベンチマークであるPolitNuggetsを紹介する。 本稿では,発見,きめ細かな精度,効率を評価するエビデンス条件付きプロトコルであるFactNetを提案する。
• 参考スコア（独自算出の注目度）: 5.56176770160168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) embedded in agentic frameworks have transformed information retrieval from static, long context question answering into open-ended exploration. Yet real world use requires models to discover and synthesize "long-tail" facts from dispersed sources, a capability that remains under-evaluated. We introduce PolitNuggets, a multilingual benchmark for agentic information synthesis via constructing political biographies for 400 global elites, covering over 10000 political facts. We standardize evaluation with an optimized multi agent system and propose FactNet, an evidence conditional protocol that scores discovery, fine-grained accuracy, and efficiency. Across models and settings, we find that current systems often struggle with fine-grained details, and vary substantially in efficiency. Finally, using benchmark diagnostics, we relate agent performance to underlying model capabilities, highlighting the importance of short-context extraction, multilingual robustness, and reliable tool use.
• Abstract（参考訳）: エージェントフレームワークに埋め込まれたLarge Reasoning Models (LRM) は、静的で長期の質問応答からオープンな探索へと情報検索を変換している。 しかし、現実世界の使用には、分散ソースから「ロングテール」事実を発見し、合成するモデルが必要である。 エージェント情報合成のための多言語ベンチマークであるPolitNuggetsを紹介する。 我々は、最適化されたマルチエージェントシステムを用いて評価を標準化し、発見、きめ細かな精度、効率をスコアするエビデンス条件付きプロトコルであるFactNetを提案する。 モデルや設定全体にわたって、現在のシステムは細かな詳細に苦しむことが多く、効率がかなり異なることが分かりました。 最後に、ベンチマーク診断を用いて、エージェント性能を基礎となるモデル機能に関連付け、短文抽出の重要性、多言語的堅牢性、信頼性ツールの使用を強調した。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research [85.51475655916026]
  AgentCPM-Reportは軽量だが高性能なローカルソリューションで、人間の記述プロセスを反映したフレームワークで構成されている。 我々のフレームワークは、モデルがアウトラインを動的に修正できるWARP(Writeing As Reasoning Policy)を使用している。 DeepResearch Bench、DeepConsult、DeepResearch Gymの実験は、AgentCPM-Reportが主要なクローズドソースシステムより優れていることを示した。
  論文  参考訳（メタデータ） (2026-02-06T09:45:04Z)
• Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using Information-Theoretic Metrics [0.0]
  本稿では,任意のモデルに対して定量的な認知プロファイルを構築するタスク非依存手法を提案する。 このプロファイルはエントロピー・ディケー・カーブ(Entropy Decay Curve)を中心に構築されている。 また,情報ゲイン・スパン (IGS) を1つの指標として提案する。
  論文  参考訳（メタデータ） (2025-07-21T20:14:25Z)
• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• Fast and Accurate Factual Inconsistency Detection Over Long Documents [19.86348214462828]
  我々は,新しいチャンキング戦略を用いて,現実の不整合を検出するタスク非依存モデルであるSCALEを紹介する。 このアプローチは、様々なタスクや長い入力に対して、現実の不整合検出における最先端のパフォーマンスを実現する。 コードとデータはGitHubに公開しています。
  論文  参考訳（メタデータ） (2023-10-19T22:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。