論文の概要: GraphNIAH: A Benchmark for Long-Context Reasoning over Real-World Graphs

• arxiv url: http://arxiv.org/abs/2610.41704v1
• Date: Fri, 30 Oct 2026 13:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.751359
• Title: GraphNIAH: A Benchmark for Long-Context Reasoning over Real-World Graphs
• Title（参考訳）: GraphNIAH: リアルタイムグラフに対する長期推論のためのベンチマーク
• Abstract要約: 評価されたモデルの知識遮断後の論文間での実際の引用関係から構築されたベンチマークを紹介する。 完全自動化されたベンチマーク構築パイプラインは、これらの論文によって形成された引用グラフのサブグラフをサンプリングし、各サブグラフを長文QAの例に変換する。 GPT-5.6, Gemini-3, Qwen3.5 の8つの LLM の評価に GraphNIAH を用いる。
• 参考スコア（独自算出の注目度）: 8.416942986826326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The needle-in-a-haystack (NIAH) benchmark was introduced as a test for measuring a model's ability to find small relevant facts within a very large body of input text. However, existing NIAH benchmarks each suffer from one or more of the following limitations: (1) reliance on synthetic data, so their evaluations may not generalize to real-world settings; (2) reuse of previously published datasets, leading to the risk of benchmark contamination; (3) dependence on manual annotation, which requires human effort to create and update data and is prone to future benchmark contamination; and (4) unrealistic simplification of long-context multi-hop reasoning where each next step is trivial given previous steps, while real-world reasoning often requires planning over multiple possible proof paths. To address these limitations, we introduce \Benchmark, a dynamic benchmark built from real citation relationships among scientific papers published after the evaluated models' knowledge cutoff date, which utilizes real-world information while ensuring no benchmark contamination. The fully automated benchmark construction pipeline samples representative subgraphs of the citation graph formed by these papers and converts each subgraph into a long-context QA example with a verifiable answer. We use GraphNIAH to evaluate eight LLMs from the GPT-5.6, Gemini-3, and Qwen3.5 families. We find that accuracy falls as questions require longer reasoning paths: at question depths of 16 and 32, the GPT-5.6 and Qwen3.5 models answer YES/NO questions no better than random guessing, mostly by answering NO; four of the eight models answer no counting example correctly, and the others model get worse as the subgraph size increases. These findings suggest that current LLMs often stop searching the citation relationships in their context before they reach the answer, even though every fact they need is in the context.
• Abstract（参考訳）: ニードル・イン・ア・ヘイスタック(NIAH)ベンチマークは、非常に大きな入力テキストの本体内で小さな関連する事実を見つけるためのモデルの能力を測定するテストとして導入された。 しかし,既存のNIAHベンチマークは,(1)合成データに依存しているため,それらの評価は実世界の設定を一般化しない,(2)ベンチマーク汚染のリスクにつながる事前公表されたデータセットの再利用,(3)データの作成と更新を人為的に要求する手動アノテーションへの依存,(4)次のステップが前回のステップで簡単な場合の長文マルチホップ推論の非現実的な単純化,など,それぞれに1つ以上の制限が課されている。 これらの制約に対処するために,評価モデルの知識遮断後の論文間での実際の引用関係から構築された動的ベンチマークである \Benchmark を導入する。 完全自動化されたベンチマーク構築パイプラインは、これらの論文によって形成された引用グラフのサブグラフをサンプル化し、各サブグラフを検証可能な答えを持つ長文QAの例に変換する。 GPT-5.6, Gemini-3, Qwen3.5 の8つの LLM の評価に GraphNIAH を用いる。 疑問深度16と32では、GPT-5.6とQwen3.5のモデルが、ランダムな推測よりもYES/NOの質問に答える。 これらの結果は、現在のLLMは、必要なすべての事実がコンテキストにあるにもかかわらず、答えに到達する前に、文脈における引用関係を検索するのをしばしば止めていることを示唆している。

関連論文リスト

• Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models [26.262278539931632]
  グラフ推論は、大きな言語モデル(LLM)の推論能力を評価するための有望なテストベッドを提供する。 既存のグラフ推論ベンチマークは、データ複雑さのカバー範囲が限られており、手作業による構築に大きく依存している。 複雑なグラフ推論ベンチマークを構築するための5段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-02T22:02:04Z)
• Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora [9.871701356351542]
  言語モデル(LM)は進化を続け、応答品質と一貫性を改善している。 モデル品質、応答適性、推論能力を評価するために、数多くの評価ベンチマークが作成されている。 本稿では,文書群を基盤としたファクトベース合成データモデル評価の自動化手法を提案する。
  論文  参考訳（メタデータ） (2025-05-13T18:50:03Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
  MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。 5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。 我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-02-14T05:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。