論文の概要: Formulation Comparison for Timeline Construction using LLMs

• arxiv url: http://arxiv.org/abs/2403.00990v1
• Date: Fri, 1 Mar 2024 21:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:50:24.130306
• Title: Formulation Comparison for Timeline Construction using LLMs
• Title（参考訳）: LLMを用いたタイムライン構築の定式化比較
• Authors: Kimihiro Hasegawa, Nikhil Kandukuri, Susan Holm, Yukari Yamakawa, Teruko Mitamura
• Abstract要約: 我々は,文書レベルの順序アノテーションを付加した単一文書タイムラインからなる新しい評価データセットTimeSETを開発した。 TimeSETは、サリエンシベースのイベント選択と部分順序付けを備えており、実用的なアノテーションのワークロードを可能にする。 実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。
• 参考スコア（独自算出の注目度）: 6.827174240679527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing a timeline requires identifying the chronological order of events in an article. In prior timeline construction datasets, temporal orders are typically annotated by either event-to-time anchoring or event-to-event pairwise ordering, both of which suffer from missing temporal information. To mitigate the issue, we develop a new evaluation dataset, TimeSET, consisting of single-document timelines with document-level order annotation. TimeSET features saliency-based event selection and partial ordering, which enable a practical annotation workload. Aiming to build better automatic timeline construction systems, we propose a novel evaluation framework to compare multiple task formulations with TimeSET by prompting open LLMs, i.e., Llama 2 and Flan-T5. Considering that identifying temporal orders of events is a core subtask in timeline construction, we further benchmark open LLMs on existing event temporal ordering datasets to gain a robust understanding of their capabilities. Our experiments show that (1) NLI formulation with Flan-T5 demonstrates a strong performance among others, while (2) timeline construction and event temporal ordering are still challenging tasks for few-shot LLMs. Our code and data are available at https://github.com/kimihiroh/timeset.
• Abstract（参考訳）: タイムラインを構築するには、記事中のイベントの時系列順を特定する必要がある。 以前のタイムライン構築データセットでは、時間的順序は通常、イベント間アンカーまたはイベント間ペアの順序付けによって注釈付けされる。 この問題を軽減するため,文書レベルのアノテーション付き単一文書タイムラインからなる評価データセットTimeSETを開発した。 timesetは、サリエンシーベースのイベント選択と部分順序付けを特徴とし、実用的なアノテーションワークロードを可能にする。 より優れた自動タイムライン構築システムの構築を目的として,Llama 2 と Flan-T5 のオープン LLM を誘導することにより,複数のタスクの定式化を TimeSET と比較する新しい評価フレームワークを提案する。 イベントの時間順序を特定することは、タイムライン構築におけるコアサブタスクであると考え、既存のイベント時間順序データセットのllmをベンチマークして、それらの能力の堅牢な理解を得る。 実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。 私たちのコードとデータはhttps://github.com/kimihiroh/timesetで入手できます。

関連論文リスト

• TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
  TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。 TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。 実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:17:27Z)
• TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding [13.996105878417204]
  本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。 ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。 広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
  論文  参考訳（メタデータ） (2025-01-13T13:47:05Z)
• Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization [93.56166917491487]
  本稿では,オープンドメインニュースタイムライン SummarizatiOn に対するCHRONOS-Causal Headline Retrieval を提案する。 実験の結果,Chronosはオープンドメインのタイムラインの要約に長けているだけでなく,クローズドドメインアプリケーション用に設計された既存の最先端システムの性能に匹敵していることがわかった。
  論文  参考訳（メタデータ） (2025-01-01T16:28:21Z)
• Just What You Desire: Constrained Timeline Summarization with Self-Reflection for Enhanced Relevance [22.53244715723573]
  制約付きタイムライン要約(CTLS)と呼ばれる新しいタスクを導入し、タイムライン内のすべてのイベントが制約を満たすタイムラインを生成する。 本稿では,大言語モデル(LLM)を用いて,特定の制約に従ってニュース記事を要約し,制約付きタイムラインに含まれる重要なイベントをクラスタ化する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T09:17:06Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
  本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。 既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。 ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。 ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T05:44:30Z)
• UnSeenTimeQA: Time-Sensitive Question-Answering Beyond LLMs' Memorization [34.257914212541394]
  本稿では,新しいデータ汚染のない質問応答ベンチマークUnSeenTimeQAを紹介する。 既存のTSQAベンチマークとは異なるのは、現実世界に根ざしたWeb検索可能なクエリを避けることだ。 合成された事象に基づく時系列イベントシナリオを提示する。
  論文  参考訳（メタデータ） (2024-07-03T22:02:07Z)
• Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
  時間的推論は、世界を理解するための大きな言語モデルの基本である。 CoTempQAは4つの時間的シナリオを含むベンチマークである。 実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-13T12:56:21Z)
• TLEX: An Efficient Method for Extracting Exact Timelines from TimeML Temporal Graphs [3.06868287890455]
  我々は、TimeMLアノテートテキストからタイムラインを抽出するTLEX(TimeLine Extraction)と呼ばれる、正確なエンドツーエンドソリューションを開発した。 TLEXはTimeMLアノテーションをトランクとブランチ構造に配置されたタイムラインのコレクションに変換する。 123のテキストが矛盾しており、181のテキストには1つ以上の実世界またはメインタイムラインがあり、4つのコーパスに2,541の未決定セクションがある。
  論文  参考訳（メタデータ） (2024-06-07T21:20:32Z)
• Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
  時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:42:17Z)
• Follow the Timeline! Generating Abstractive and Extractive Timeline Summary in Chronological Order [78.46986998674181]
  時間順で抽象的かつ抽出的な時系列を生成できる統一タイムライン要約器(UTS)を提案する。 我々は、以前の中国の大規模タイムライン要約データセットを拡張し、新しい英語タイムラインデータセットを収集する。 UTSは、自動評価と人的評価の両方の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-02T20:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。