論文の概要: Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding
- arxiv url: http://arxiv.org/abs/2406.02472v1
- Date: Tue, 4 Jun 2024 16:42:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 15:20:58.464562
- Title: Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding
- Title（参考訳）: 大規模言語モデルを用いた時間的複合イベントの分析 : 時間的・長期的理解に向けてのベンチマーク
- Authors: Zhihan Zhang, Yixin Cao, Chenchen Ye, Yunshan Ma, Lizi Liao, Tat-Seng Chua,
- Abstract要約: 時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
- 参考スコア（独自算出の注目度）: 57.62275091656578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The digital landscape is rapidly evolving with an ever-increasing volume of online news, emphasizing the need for swift and precise analysis of complex events. We refer to the complex events composed of many news articles over an extended period as Temporal Complex Event (TCE). This paper proposes a novel approach using Large Language Models (LLMs) to systematically extract and analyze the event chain within TCE, characterized by their key points and timestamps. We establish a benchmark, named TCELongBench, to evaluate the proficiency of LLMs in handling temporal dynamics and understanding extensive text. This benchmark encompasses three distinct tasks - reading comprehension, temporal sequencing, and future event forecasting. In the experiment, we leverage retrieval-augmented generation (RAG) method and LLMs with long context window to deal with lengthy news articles of TCE. Our findings indicate that models with suitable retrievers exhibit comparable performance with those utilizing long context window.
- Abstract（参考訳）: デジタルの風景は急速に進化しており、オンラインニュースの量は増え続けており、複雑な出来事の迅速かつ正確な分析の必要性を強調している。
本稿では,時間的複合イベント(TCE: Temporal Complex Event)として,多くのニュース記事からなる複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いてTCE内のイベントチェーンを系統的に抽出・解析する手法を提案する。
我々は、時間的ダイナミクスの扱いと広範なテキスト理解におけるLLMの熟練度を評価するため、TCELongBenchというベンチマークを構築した。
このベンチマークは、読み取り理解、時間的シークエンシング、将来のイベント予測という、3つの異なるタスクを含む。
実験では,検索拡張生成法と長いコンテキストウィンドウを持つLLMを用いて,TEの長いニュース記事を扱う。
この結果から,検索に適したモデルでは,長期のコンテキストウインドウを用いたモデルと同等の性能を示した。
関連論文リスト
- Efficient Retrieval of Temporal Event Sequences from Textual Descriptions [0.0]
TPP-LLM-Embeddingは、自然言語記述に基づくイベントシーケンスの埋め込みと検索のための統一モデルである。
我々のモデルはイベントタイプと時間の両方をエンコードし、プールを通してシーケンスレベルの表現を生成します。
TPP-LLM-Embeddingは効率的な検索を可能にし、多様なデータセットのベースラインモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-17T21:35:55Z) - Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。
このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。
結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
論文 参考訳（メタデータ） (2024-10-07T17:59:48Z) - From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection [16.47323362700347]
本稿では,テキストデータと時系列データの両方を解析することで時系列予測を強化する新しい手法を提案する。
言語を媒体として,社会イベントを予測モデルに適応的に統合し,ニュースコンテンツと時系列のゆらぎを一致させてより豊かな洞察を提供する。
具体的には、LSMをベースとしたエージェントを用いて、無関係なニュースを反復的にフィルタリングし、人間ライクな推論を用いて予測を評価する。
論文 参考訳（メタデータ） (2024-09-26T03:50:22Z) - Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。
拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。
Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
論文 参考訳（メタデータ） (2024-06-25T09:42:56Z) - Large Language Models as Event Forecasters [10.32127659470566]
人間の出来事の鍵となる要素は、主題、関係、対象、タイムスタンプからなる四重項として抽出される。
これらの四重項または四重項は、特定の領域内で組織化されると、時間知識グラフ(TKG)を形成する。
論文 参考訳（メタデータ） (2024-06-15T04:09:31Z) - Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model [22.07414287186125]
Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。
生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。
実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
論文 参考訳（メタデータ） (2024-05-30T08:50:55Z) - XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。
最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。
XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
論文 参考訳（メタデータ） (2024-04-08T12:29:07Z) - Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。
我々は、各エージェントに画像の共有と反応の能力を持たせる。
生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
論文 参考訳（メタデータ） (2024-02-27T18:42:31Z) - Tracking Objects and Activities with Attention for Temporal Sentence
Grounding [51.416914256782505]
時間文 (TSG) は、意味的に自然言語のクエリと一致した時間セグメントを、トリミングされていないセグメントでローカライズすることを目的としている。
本稿では,(A)マルチモーダル・検索空間を生成するクロスモーダル・ターゲット・ジェネレータと(B)マルチモーダル・ターゲットの動作を追跡し,クエリ関連セグメントを予測するテンポラル・センセント・トラッカーとを含む,新しいテンポラル・センセント・トラッカー・ネットワーク(TSTNet)を提案する。
論文 参考訳（メタデータ） (2023-02-21T16:42:52Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳（メタデータ） (2020-05-08T22:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。