論文の概要: Formulation Comparison for Timeline Construction using LLMs

• arxiv url: http://arxiv.org/abs/2403.00990v1
• Date: Fri, 1 Mar 2024 21:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:50:24.130306
• Title: Formulation Comparison for Timeline Construction using LLMs
• Title（参考訳）: LLMを用いたタイムライン構築の定式化比較
• Authors: Kimihiro Hasegawa, Nikhil Kandukuri, Susan Holm, Yukari Yamakawa, Teruko Mitamura
• Abstract要約: 我々は,文書レベルの順序アノテーションを付加した単一文書タイムラインからなる新しい評価データセットTimeSETを開発した。 TimeSETは、サリエンシベースのイベント選択と部分順序付けを備えており、実用的なアノテーションのワークロードを可能にする。 実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。
• 参考スコア（独自算出の注目度）: 6.827174240679527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing a timeline requires identifying the chronological order of events in an article. In prior timeline construction datasets, temporal orders are typically annotated by either event-to-time anchoring or event-to-event pairwise ordering, both of which suffer from missing temporal information. To mitigate the issue, we develop a new evaluation dataset, TimeSET, consisting of single-document timelines with document-level order annotation. TimeSET features saliency-based event selection and partial ordering, which enable a practical annotation workload. Aiming to build better automatic timeline construction systems, we propose a novel evaluation framework to compare multiple task formulations with TimeSET by prompting open LLMs, i.e., Llama 2 and Flan-T5. Considering that identifying temporal orders of events is a core subtask in timeline construction, we further benchmark open LLMs on existing event temporal ordering datasets to gain a robust understanding of their capabilities. Our experiments show that (1) NLI formulation with Flan-T5 demonstrates a strong performance among others, while (2) timeline construction and event temporal ordering are still challenging tasks for few-shot LLMs. Our code and data are available at https://github.com/kimihiroh/timeset.
• Abstract（参考訳）: タイムラインを構築するには、記事中のイベントの時系列順を特定する必要がある。 以前のタイムライン構築データセットでは、時間的順序は通常、イベント間アンカーまたはイベント間ペアの順序付けによって注釈付けされる。 この問題を軽減するため,文書レベルのアノテーション付き単一文書タイムラインからなる評価データセットTimeSETを開発した。 timesetは、サリエンシーベースのイベント選択と部分順序付けを特徴とし、実用的なアノテーションワークロードを可能にする。 より優れた自動タイムライン構築システムの構築を目的として,Llama 2 と Flan-T5 のオープン LLM を誘導することにより,複数のタスクの定式化を TimeSET と比較する新しい評価フレームワークを提案する。 イベントの時間順序を特定することは、タイムライン構築におけるコアサブタスクであると考え、既存のイベント時間順序データセットのllmをベンチマークして、それらの能力の堅牢な理解を得る。 実験の結果,(1) Flan-T5によるNLIの定式化は互いに強い性能を示し,(2)タイムライン構築とイベント時間順序付けは,まだ数発のLLMでは難しい課題であることがわかった。 私たちのコードとデータはhttps://github.com/kimihiroh/timesetで入手できます。

関連論文リスト

• TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
  大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:02:32Z)
• Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
  HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。 本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-24T12:32:19Z)
• Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
  本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。 既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。 ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。 ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T05:44:30Z)
• UnSeenTimeQA: Time-Sensitive Question-Answering Beyond LLMs' Memorization [34.257914212541394]
  本稿では,新しいデータ汚染のない質問応答ベンチマークUnSeenTimeQAを紹介する。 既存のTSQAベンチマークとは異なるのは、現実世界に根ざしたWeb検索可能なクエリを避けることだ。 大きな言語モデル(LLM)は、訓練前の段階で得られた事実知識に依存することなく、真の時間的推論を行う必要がある。
  論文  参考訳（メタデータ） (2024-07-03T22:02:07Z)
• Living in the Moment: Can Large Language Models Grasp Co-Temporal Reasoning? [70.19200858203388]
  時間的推論は、世界を理解するための大きな言語モデルの基本である。 CoTempQAは4つの時間的シナリオを含むベンチマークである。 実験の結果,LLMの性能と人間レベルの推論との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-13T12:56:21Z)
• TLEX: An Efficient Method for Extracting Exact Timelines from TimeML Temporal Graphs [3.06868287890455]
  我々は、TimeMLアノテートテキストからタイムラインを抽出するTLEX(TimeLine Extraction)と呼ばれる、正確なエンドツーエンドソリューションを開発した。 TLEXはTimeMLアノテーションをトランクとブランチ構造に配置されたタイムラインのコレクションに変換する。 123のテキストが矛盾しており、181のテキストには1つ以上の実世界またはメインタイムラインがあり、4つのコーパスに2,541の未決定セクションがある。
  論文  参考訳（メタデータ） (2024-06-07T21:20:32Z)
• Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
  時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:42:17Z)
• Follow the Timeline! Generating Abstractive and Extractive Timeline Summary in Chronological Order [78.46986998674181]
  時間順で抽象的かつ抽出的な時系列を生成できる統一タイムライン要約器(UTS)を提案する。 我々は、以前の中国の大規模タイムライン要約データセットを拡張し、新しい英語タイムラインデータセットを収集する。 UTSは、自動評価と人的評価の両方の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-02T20:29:40Z)
• Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
  我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。 本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
  論文  参考訳（メタデータ） (2022-02-11T01:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。