論文の概要: Can Structural Cues Save LLMs? Evaluating Language Models in Massive Document Streams

• arxiv url: http://arxiv.org/abs/2603.19250v1
• Date: Wed, 25 Feb 2026 06:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.776819
• Title: Can Structural Cues Save LLMs? Evaluating Language Models in Massive Document Streams
• Title（参考訳）: 構造的キューはLLMを救えるか? 大規模文書ストリームにおける言語モデルの評価
• Authors: Yukyung Lee, Yebin Lim, Woojun Jung, Wonjun Choi, Susik Yoon,
• Abstract要約: 私たちは、2016年と2025年に主要なニュースから構築されたベンチマークであるStreamBenchを紹介します。 我々は、イベントごとに重要な事実を整理する構造的手がかりのないパフォーマンスと比較する。 構造的手がかりはクラスタリング(+4.37%)と時間的QA(+9.63%)のパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 11.912266326213187
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating language models in streaming environments is critical, yet underexplored. Existing benchmarks either focus on single complex events or provide curated inputs for each query, and do not evaluate models under the conflicts that arise when multiple concurrent events are mixed within the same document stream. We introduce StreamBench, a benchmark built from major news stories in 2016 and 2025, comprising 605 events and 15,354 documents across three tasks: Topic Clustering, Temporal Question Answering, and Summarization. To diagnose how models fail, we compare performance with and without structural cues, which organize key facts by event. We find that structural cues improve performance on clustering (up to +4.37%) and temporal QA (up to +9.63%), helping models locate relevant information and separate distinct events. While temporal reasoning remains an open challenge inherent to current LLMs, consistent gains across tasks show that structural cues are a promising direction for future work in massive document streams.
• Abstract（参考訳）: ストリーミング環境での言語モデルの評価は重要だが、過小評価されている。 既存のベンチマークは、単一の複雑なイベントにフォーカスするか、クエリ毎にキュレートされたインプットを提供するかのいずれかであり、同じドキュメントストリーム内で複数の同時イベントが混在した場合に発生する競合の下でモデルを評価することはない。 我々は2016年と2025年に主要なニュース記事から構築されたベンチマークであるStreamBenchを紹介し、トピッククラスタリング、時間的質問回答、要約という3つのタスクにまたがる605のイベントと15,354のドキュメントを含む。 モデルがどのように失敗するかを診断するために、パフォーマンスを構造的な手がかりなしで比較し、イベントごとに重要な事実を整理する。 構造的キューはクラスタリングのパフォーマンス(最大+4.37%)と時間的QA(最大+9.63%)を改善し、モデルが関連する情報を見つけ、異なるイベントを区別するのに役立つ。 時間的推論は、現在のLLMに固有のオープンな課題であり続けているが、タスク間の一貫した利得は、構造的手がかりが、巨大なドキュメントストリームにおける将来の作業にとって有望な方向であることを示している。

関連論文リスト

• TSAQA: Time Series Analysis Question And Answering Benchmark [85.35545785252309]
  時系列データは、金融、医療、交通、環境科学といった分野における重要な応用に不可欠である。 TSAQAはタスクカバレッジを拡大し、多様な時間的分析能力を評価するために設計された新しい統合ベンチマークである。
  論文  参考訳（メタデータ） (2026-01-30T17:28:56Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Evaluating List Construction and Temporal Understanding capabilities of Large Language Models [54.39278049092508]
  大規模言語モデル(LLM)は、特に時間的理解タスクにおける幻覚や誤りの影響を受けやすい。 本稿では,時系列に適合するリスト形式で構造化された回答を必要とするTLQA(Time Referenceed List based Question Answering)ベンチマークを提案する。 閉書およびオープンドメイン設定におけるTLQA上の最先端生成モデルの時間的理解とリスト構築能力について検討する。
  論文  参考訳（メタデータ） (2025-06-26T21:40:58Z)
• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)
• Enhancing Cross-Document Event Coreference Resolution by Discourse Structure and Semantic Information [33.21818213257603]
  クロスドキュメントのイベントコア参照解決モデルは、参照の類似性を直接計算するか、イベント引数を抽出することで参照表現を強化することができる。 本稿では,文書の構造的・意味的情報をモデル化するために,文書レベルのレトリック構造理論(RST)木とクロスドキュメントのレキシカル・チェーンの構築を提案する。 このギャップを埋めるために、大規模な中国のクロスドキュメントイベントコアデータセットを開発した。
  論文  参考訳（メタデータ） (2024-06-23T02:54:48Z)
• Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
  時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:42:17Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。