論文の概要: Formulation Comparison for Timeline Construction using LLMs
- arxiv url: http://arxiv.org/abs/2403.00990v1
- Date: Fri, 1 Mar 2024 21:24:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:50:24.130306
- Title: Formulation Comparison for Timeline Construction using LLMs
- Title(参考訳): LLMを用いたタイムライン構築の定式化比較
- Authors: Kimihiro Hasegawa, Nikhil Kandukuri, Susan Holm, Yukari Yamakawa,
Teruko Mitamura
- Abstract要約: 我々は,文書レベルの順序アノテーションを付加した単一文書タイムラインからなる新しい評価データセットTimeSETを開発した。
TimeSETは、サリエンシベースのイベント選択と部分順序付けを備えており、実用的なアノテーションのワークロードを可能にする。
実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。
- 参考スコア(独自算出の注目度): 6.827174240679527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constructing a timeline requires identifying the chronological order of
events in an article. In prior timeline construction datasets, temporal orders
are typically annotated by either event-to-time anchoring or event-to-event
pairwise ordering, both of which suffer from missing temporal information. To
mitigate the issue, we develop a new evaluation dataset, TimeSET, consisting of
single-document timelines with document-level order annotation. TimeSET
features saliency-based event selection and partial ordering, which enable a
practical annotation workload. Aiming to build better automatic timeline
construction systems, we propose a novel evaluation framework to compare
multiple task formulations with TimeSET by prompting open LLMs, i.e., Llama 2
and Flan-T5. Considering that identifying temporal orders of events is a core
subtask in timeline construction, we further benchmark open LLMs on existing
event temporal ordering datasets to gain a robust understanding of their
capabilities. Our experiments show that (1) NLI formulation with Flan-T5
demonstrates a strong performance among others, while (2) timeline construction
and event temporal ordering are still challenging tasks for few-shot LLMs. Our
code and data are available at https://github.com/kimihiroh/timeset.
- Abstract(参考訳): タイムラインを構築するには、記事中のイベントの時系列順を特定する必要がある。
以前のタイムライン構築データセットでは、時間的順序は通常、イベント間アンカーまたはイベント間ペアの順序付けによって注釈付けされる。
この問題を軽減するため,文書レベルのアノテーション付き単一文書タイムラインからなる評価データセットTimeSETを開発した。
timesetは、サリエンシーベースのイベント選択と部分順序付けを特徴とし、実用的なアノテーションワークロードを可能にする。
より優れた自動タイムライン構築システムの構築を目的として,Llama 2 と Flan-T5 のオープン LLM を誘導することにより,複数のタスクの定式化を TimeSET と比較する新しい評価フレームワークを提案する。
イベントの時間順序を特定することは、タイムライン構築におけるコアサブタスクであると考え、既存のイベント時間順序データセットのllmをベンチマークして、それらの能力の堅牢な理解を得る。
実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。
私たちのコードとデータはhttps://github.com/kimihiroh/timesetで入手できます。
関連論文リスト
- $\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM
for Time Series Forecasting [23.228160368290187]
本稿では,LLM(S2$IP-LLM)を用いたセマンティック空間インフォームドプロンプト学習を提案し,事前学習された意味空間と時系列埋め込み空間とを整合させる。
提案した$S2$IP-LLMは,最先端のベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳(メタデータ) (2024-03-09T05:20:48Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [70.38241681764738]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - AutoTimes: Autoregressive Time Series Forecasters via Large Language
Models [72.77653698874678]
本稿では,大規模言語モデル(LLM)を自動回帰時系列予測器として活用するためにAutoTimesを提案する。
提案手法は, LLM, 追加テキスト, 時系列を命令として利用することにより, 顕著な手法の一般化を実現し, 性能の向上を実現している。
論文 参考訳(メタデータ) (2024-02-04T06:59:21Z) - Structured, Complex and Time-complete Temporal Event Forecasting [66.17005554335029]
時間的イベント予測は、歴史で観測された出来事から次に何が起こるかを予測することを目的としている。
それまでの時間的事象の定式化は、非構造的、原子的、あるいは完全な時間的情報が欠如している。
SCTc-TE(Structured, Complex, and Time-complete Temporal Event)の新たな定式化について紹介する。
論文 参考訳(メタデータ) (2023-12-02T07:40:21Z) - Background Summarization of Event Timelines [13.264991569806572]
本稿では、各時系列更新と関連するイベントの背景要約を補完するバックグラウンドニュース要約のタスクを紹介する。
我々は,既存の時系列データセットをマージしてデータセットを構築し,各ニュースイベント毎の背景要約を書くよう人間アノテータに依頼する。
我々は、最先端の要約システムを用いて強力なベースライン性能を確立し、背景要約を生成するためのクエリ中心の変種を提案する。
論文 参考訳(メタデータ) (2023-10-24T21:30:15Z) - Temporal-aware Hierarchical Mask Classification for Video Semantic
Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。
VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。
提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-09-14T20:31:06Z) - Follow the Timeline! Generating Abstractive and Extractive Timeline
Summary in Chronological Order [78.46986998674181]
時間順で抽象的かつ抽出的な時系列を生成できる統一タイムライン要約器(UTS)を提案する。
我々は、以前の中国の大規模タイムライン要約データセットを拡張し、新しい英語タイムラインデータセットを収集する。
UTSは、自動評価と人的評価の両方の観点から最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-01-02T20:29:40Z) - Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。
本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
論文 参考訳(メタデータ) (2022-02-11T01:29:02Z) - Temporal Information and Event Markup Language: TIE-ML Markup Process
and Schema Version 1.0 [0.8411385346896412]
TIE-MLは、コーパスの時間的およびイベント関連アノテーションの生産性と精度を向上させるためのマークアップ戦略とアノテーションスキーマである。
イベントのアノテーション、時間的シークエンシング、持続時間については、時間的関係とイベント列挙のみのための極めて少ないタグセットを提供することにより、大幅に単純化される。
論文 参考訳(メタデータ) (2021-09-28T17:43:54Z) - Conditional Generation of Temporally-ordered Event Sequences [29.44608199294757]
本稿では,イベントシーケンスの時間性だけでなく,イベント共起を捉えることができる条件生成モデルを提案する。
この単一モデルは、時間的順序付け、与えられたイベント列をそれらが発生した順序にソートすること、イベントを埋め込むことの両方に対処でき、既存のイベントの時間的順序付けシーケンスに適合する新しいイベントを予測できる。
論文 参考訳(メタデータ) (2020-12-31T18:10:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。