論文の概要: Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding

• arxiv url: http://arxiv.org/abs/2406.02472v1
• Date: Tue, 4 Jun 2024 16:42:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:20:58.464562
• Title: Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding
• Title（参考訳）: 大規模言語モデルを用いた時間的複合イベントの分析 : 時間的・長期的理解に向けてのベンチマーク
• Authors: Zhihan Zhang, Yixin Cao, Chenchen Ye, Yunshan Ma, Lizi Liao, Tat-Seng Chua,
• Abstract要約: 時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
• 参考スコア（独自算出の注目度）: 57.62275091656578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The digital landscape is rapidly evolving with an ever-increasing volume of online news, emphasizing the need for swift and precise analysis of complex events. We refer to the complex events composed of many news articles over an extended period as Temporal Complex Event (TCE). This paper proposes a novel approach using Large Language Models (LLMs) to systematically extract and analyze the event chain within TCE, characterized by their key points and timestamps. We establish a benchmark, named TCELongBench, to evaluate the proficiency of LLMs in handling temporal dynamics and understanding extensive text. This benchmark encompasses three distinct tasks - reading comprehension, temporal sequencing, and future event forecasting. In the experiment, we leverage retrieval-augmented generation (RAG) method and LLMs with long context window to deal with lengthy news articles of TCE. Our findings indicate that models with suitable retrievers exhibit comparable performance with those utilizing long context window.
• Abstract（参考訳）: デジタルの風景は急速に進化しており、オンラインニュースの量は増え続けており、複雑な出来事の迅速かつ正確な分析の必要性を強調している。 本稿では,時間的複合イベント(TCE: Temporal Complex Event)として,多くのニュース記事からなる複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いてTCE内のイベントチェーンを系統的に抽出・解析する手法を提案する。 我々は、時間的ダイナミクスの扱いと広範なテキスト理解におけるLLMの熟練度を評価するため、TCELongBenchというベンチマークを構築した。 このベンチマークは、読み取り理解、時間的シークエンシング、将来のイベント予測という、3つの異なるタスクを含む。 実験では,検索拡張生成法と長いコンテキストウィンドウを持つLLMを用いて,TEの長いニュース記事を扱う。 この結果から,検索に適したモデルでは,長期のコンテキストウインドウを用いたモデルと同等の性能を示した。

関連論文リスト

• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Large Language Models as Event Forecasters [10.32127659470566]
  人間の出来事の鍵となる要素は、主題、関係、対象、タイムスタンプからなる四重項として抽出される。 これらの四重項または四重項は、特定の領域内で組織化されると、時間知識グラフ(TKG)を形成する。
  論文  参考訳（メタデータ） (2024-06-15T04:09:31Z)
• XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。 最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。 XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-08T12:29:07Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Fast and Accurate Factual Inconsistency Detection Over Long Documents [19.86348214462828]
  我々は,新しいチャンキング戦略を用いて,現実の不整合を検出するタスク非依存モデルであるSCALEを紹介する。 このアプローチは、様々なタスクや長い入力に対して、現実の不整合検出における最先端のパフォーマンスを実現する。 コードとデータはGitHubに公開しています。
  論文  参考訳（メタデータ） (2023-10-19T22:55:39Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Tracking Objects and Activities with Attention for Temporal Sentence Grounding [51.416914256782505]
  時間文 (TSG) は、意味的に自然言語のクエリと一致した時間セグメントを、トリミングされていないセグメントでローカライズすることを目的としている。 本稿では,(A)マルチモーダル・検索空間を生成するクロスモーダル・ターゲット・ジェネレータと(B)マルチモーダル・ターゲットの動作を追跡し,クエリ関連セグメントを予測するテンポラル・センセント・トラッカーとを含む,新しいテンポラル・センセント・トラッカー・ネットワーク(TSTNet)を提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:42:52Z)
• Topic Detection and Tracking with Time-Aware Document Embeddings [23.348627263872842]
  我々は、時間的・テキスト的な情報をイベント検出のためのニュース文書の1つの表現に融合するニューラルネットワークを設計する。 振り返り設定では、クラスタリングアルゴリズムをタイムアウェアな埋め込みに適用し、News2013データセットのベースラインよりも大幅に改善したことを示す。 オンラインストリーミング設定では、既存の最先端のTDTパイプラインにドキュメントエンコーダを追加し、パフォーマンス全体のメリットを実証します。
  論文  参考訳（メタデータ） (2021-12-12T06:25:15Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。