論文の概要: Self-Consistency of Entity Sets and Citations in a Deep Research System under Repeated Prompting

• arxiv url: http://arxiv.org/abs/2610.26421v1
• Date: Mon, 19 Oct 2026 13:50:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:43:52.429748
• Title: Self-Consistency of Entity Sets and Citations in a Deep Research System under Repeated Prompting
• Title（参考訳）: 繰り返しプロンプトによる深部研究システムにおけるエンティティセットとサイテーションの自己整合性
• Abstract要約: 商業深層研究システムの自己整合性について, 同一のプロンプトの繰り返しによる検討を行った。 ペアワイズ重なりを定量化して、検索された出力構造と合成された出力構造がいかに安定であるかを特徴付ける。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep research agents (DRA) are commonly used for open-ended synthesis tasks where closed-world QA benchmarks are poorly suited to characterize relevant aspects of performance. We study the self-consistency of one commercial deep research system under repeated identical prompting, representing each report with the set of named entities it mentions, categorised by a custom schema, and the set of citations it retrieves. Across repeated runs of a single open-ended cybersecurity related prompt, we quantify pairwise overlap to characterize how stable the retrieved and synthesized output structure is under repeated identical prompts. In ten runs, the pairwise entity Jaccard results in a median of 0.12 and the pairwise citation Jaccard is below 0.02, with discovery curves that do not visibly saturate. The magnitude and structure of (dis)agreement between entity sets varies by entity class, which suggests that self-consistency in a DRA is better understood as a function of the underlying entity space than as a stable property of the system.
• Abstract（参考訳）: ディープリサーチエージェント(DRA)は、クローズドワールドQAベンチマークがパフォーマンスの関連する側面を特徴づけるのに不適な、オープンエンドな合成タスクに一般的に使用される。 本研究は、各レポートに言及する名前付きエンティティの集合、カスタムスキーマで分類された名前付きエンティティの集合、検索する引用の集合を表わして、同一のプロンプトを繰り返して、ある商業深度研究システムの自己整合性について検討する。 オープンエンドのサイバーセキュリティ関連プロンプトを1回繰り返し実行することで、ペアワイズオーバーラップを定量化し、検索された出力構造と合成された出力構造が、同じプロンプトの下でどれだけ安定しているかを特徴付ける。 10回のランでは、対実体ジャカードは0.12の中央値となり、対引用ジャカードは0.02未満となり、発見曲線は目に見える飽和しない。 DRAにおける自己整合性は、系の安定性よりも基礎となる実体空間の関数として理解されていることを示唆する。

関連論文リスト

• Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Model Dependence and Evaluation Reliability [31.89838384366225]
  In-context- learning (ICL) では、ラベル付きサポート例とリンクされたリレーショナルコンテキストを使用して、新しいクエリのラベルを予測する。 これにより、ターゲットから派生した機能がサポートコンテキストに存在しているが、クエリでは利用できない場合、障害モードが生成される。 本研究では,13のRelBenchタスクと5つのリレーショナルICL構成にまたがって,この設定をサポートセットのターゲットリークとして検討する。
  論文  参考訳（メタデータ） (2026-09-29T00:14:48Z)
• Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
  WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。 クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
  論文  参考訳（メタデータ） (2026-04-07T13:18:31Z)
• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
  本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。 一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。 その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-01-07T03:07:52Z)
• Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs [1.2891210250935148]
  本稿では,Large Language Models (LLM) を用いた自動スキル分解について検討する。 我々のフレームワークは、パイプラインをプロンプトと生成から正規化とオントロジーノードとのアライメントまで標準化する。 出力を評価するために、コンテンツ精度を評価するために最適な埋め込みベースのマッチングを使用するF1スコアと、粒度を評価するために構造的に正しい配置を信用する階層型F1スコアの2つの指標を導入する。
  論文  参考訳（メタデータ） (2025-10-13T12:03:06Z)
• RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [33.389969814185214]
  Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、RAGシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどれくらいうまく対処しているかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
  論文  参考訳（メタデータ） (2025-06-01T02:42:36Z)
• CORG: Generating Answers from Complex, Interrelated Contexts [57.213304718157985]
  現実世界のコーパスでは、知識は文書間で頻繁に再帰するが、曖昧な命名、時代遅れの情報、エラーのためにしばしば矛盾を含む。 以前の研究では、言語モデルはこれらの複雑さに苦しむことが示されており、典型的には孤立した単一要因に焦点を当てている。 複数のコンテキストを個別に処理されたグループに整理するフレームワークであるContext Organizer (CORG)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T02:40:48Z)
• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。