論文の概要: FACTTRACK: Time-Aware World State Tracking in Story Outlines

• arxiv url: http://arxiv.org/abs/2407.16347v1
• Date: Tue, 23 Jul 2024 09:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:45:51.877642
• Title: FACTTRACK: Time-Aware World State Tracking in Story Outlines
• Title（参考訳）: FACTTRACK: ストーリーの概要をタイムアウェアで追跡する
• Authors: Zhiheng Lyu, Kevin Yang, Lingpeng Kong, Daniel Klein,
• Abstract要約: 本稿では,原子の事実を追跡し,矛盾に対処するための新しい手法FACTTRACKを提案する。 FACTTRACKは、各事実に対する時間認識の妥当性間隔も維持し、経時変化を可能にする。
• 参考スコア（独自算出の注目度）: 41.90483099903492
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While accurately detecting and correcting factual contradictions in language model outputs has become increasingly important as their capabilities improve, doing so is highly challenging. We propose a novel method, FACTTRACK, for tracking atomic facts and addressing factual contradictions. Crucially, FACTTRACK also maintains time-aware validity intervals for each fact, allowing for change over time. At a high level, FACTTRACK consists of a four-step pipeline to update a world state data structure for each new event: (1) decompose the event into directional atomic facts; (2) determine the validity interval of each atomic fact using the world state; (3) detect contradictions with existing facts in the world state; and finally (4) add new facts to the world state and update existing atomic facts. When we apply FACTTRACK to contradiction detection on structured story outlines, we find that FACTTRACK using LLaMA2-7B-Chat substantially outperforms a fair baseline using LLaMA2-7B-Chat, and achieves performance comparable to a GPT4 baseline. Moreover, when using GPT4, FACTTRACK significantly outperforms the GPT4 baseline.
• Abstract（参考訳）: 言語モデル出力における事実の矛盾を正確に検出し、修正することは、その能力が向上するにつれてますます重要になっているが、それを行うのは非常に難しい。 本稿では,原子の事実を追跡し,矛盾に対処するための新しい手法FACTTRACKを提案する。 重要なことに、FACTTRACKは各事実に対する時間認識の妥当性間隔も維持しており、時間とともに変更が可能である。 高いレベルでは、FACTTRACKは、(1)イベントを方向性原子事実に分解し、(2)世界状態を用いて各原子事実の妥当性間隔を決定する、(3)世界状態における既存の事実との矛盾を検出する、(4)世界状態に新しい事実を追加し、既存の原子事実を更新する、4段階のパイプラインから構成される。 構造化ストーリーアウトラインにおける矛盾検出にFACTTRACKを適用すると、LLaMA2-7B-Chatを用いたFACTTRACKは、LLaMA2-7B-Chatを用いたフェアベースラインを大幅に上回り、GPT4ベースラインに匹敵する性能を実現する。 さらに、GPT4を使用する場合、FACTTRACKはGPT4ベースラインを著しく上回る。

関連論文リスト

• Narrative-of-Thought: Improving Temporal Reasoning of Large Language Models via Recounted Narratives [6.631626634132574]
  時間的推論において重要な課題である時間的グラフ生成について検討する。 この課題は,最も強力な言語モデルにおいても大きな課題となる。 本稿では,時間的推論,Narrative-of-Thoughtに適した新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T23:36:05Z)
• FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs [0.0]
  FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。 事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T13:24:37Z)
• Unveiling Divergent Inductive Biases of LLMs on Temporal Data [4.561800294155325]
  本研究は、時間データ解析におけるGPT-3.5およびGPT-4モデルの性能評価に焦点をあてる。 特定の時間的関係に対する偏見が明らかになり、GPT-3.5は暗黙的イベントと明示的イベントの両方のQAフォーマットで「AFTER」を優先する一方、GPT-4は「BEFORE」に傾いている。
  論文  参考訳（メタデータ） (2024-04-01T19:56:41Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Local-Global History-aware Contrastive Learning for Temporal Knowledge Graph Reasoning [25.497749629866757]
  時間的知識グラフのためのブルーローカル・ブルーグロバル履歴対応ブルーコントラストブルーLモデル(ブルーLogCL)を提案する。 最初の課題として、LogCLは、ローカルおよびグローバルな歴史的事実エンコーダに適用されるエンティティ対応の注意機構を提案する。 後者の問題のために、LogCLは4つの歴史的クエリコントラストパターンを設計し、モデルの堅牢性を効果的に改善した。
  論文  参考訳（メタデータ） (2023-12-04T03:27:01Z)
• EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data Augmentation for Multi-hop Fact Verification [28.453817513380276]
  言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。 具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。 実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-23T02:39:14Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)
• FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization [91.46015013816083]
  本稿では,FactPEGについて述べる。FactPEGは,事前学習と微調整における現実性の問題に対処する抽象的な要約モデルである。 分析の結果,FactPEGはゼロショットやスプリショットの設定において,本来の事前学習目標よりも現実的であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-16T17:39:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。