Fugu-MT 論文翻訳(概要): CHEW: A Dataset of CHanging Events in Wikipedia

論文の概要: CHEW: A Dataset of CHanging Events in Wikipedia

arxiv url: http://arxiv.org/abs/2406.19116v1
Date: Thu, 27 Jun 2024 11:53:15 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 14:17:52.520892
Title: CHEW: A Dataset of CHanging Events in Wikipedia
Title（参考訳）: CHEW:ウィキペディアにおける変更イベントのデータセット
Authors: Hsuvas Borkakoty, Luis Espinosa-Anke,
Abstract要約: 自然発生テキストで表現されたウィキペディアのイベント変化データセットであるCHEWを紹介する。我々はCHEWを用いて、生成および分類実験において、ウィキペディアのエンティティやイベントのタイムライン理解のためにLLMを探索する。
参考スコア（独自算出の注目度）: 10.756673240445709
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce CHEW, a novel dataset of changing events in Wikipedia expressed in naturally occurring text. We use CHEW for probing LLMs for their timeline understanding of Wikipedia entities and events in generative and classification experiments. Our results suggest that LLMs, despite having temporal information available, struggle to construct accurate timelines. We further show the usefulness of CHEW-derived embeddings for identifying meaning shift.
Abstract（参考訳）: 自然発生テキストで表現されたウィキペディアのイベント変化データセットであるCHEWを紹介する。我々はCHEWを用いて、生成および分類実験において、ウィキペディアのエンティティやイベントのタイムライン理解のためにLLMを探索する。この結果から,LLMは時間的情報を持っているにも関わらず,正確なタイムライン構築に苦慮していることが示唆された。さらに,CHEW由来の埋め込みが意味変化の同定に有用であることを示す。

関連論文リスト

HelloFresh: LLM Evaluations on Streams of Real-World Human Editorial Actions across X Community Notes and Wikipedia edits [92.62157408704594]
HelloFreshは、本質的に動機づけられた人間のラベルによって生成された実世界のデータの連続的なストリームに基づいている。ウィキペディアページのX(元Twitter)コミュニティノートと編集の最近のイベントをカバーしている。テストデータの汚染とベンチマークオーバーフィッティングのリスクを軽減します。
論文参考訳（メタデータ） (2024-06-05T16:25:57Z)
FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
論文参考訳（メタデータ） (2024-05-02T17:54:54Z)
DyKnow:Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
論文参考訳（メタデータ） (2024-04-10T18:08:59Z)
Retrieval-based Full-length Wikipedia Generation for Emergent Events [33.81630908675804]
我々は、Webソースから取得した入力を用いて、創発的なイベントに対して構造化されたフル長のウィキペディア文書を生成する現実世界のシナリオをシミュレートする。大規模言語モデル(LLM)が最近発生したイベントに関連するコーパスでトレーニングされないことを保証するため、最近発生したイベントを選択し、新しいベンチマークWiki-GenBenを導入する。本研究は,LLMの実際の全長ウィキペディア文書作成能力を評価するために,体系的評価指標と基準手法の総合的なセットを設計する。
論文参考訳（メタデータ） (2024-02-28T11:51:56Z)
Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文参考訳（メタデータ） (2024-02-19T07:45:17Z)
See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
知識編集が大規模言語モデル(LLM)の知識を更新既存の作業はこの特性を無視し、編集には一般化が欠けている。実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
論文参考訳（メタデータ） (2024-01-15T09:09:14Z)
Towards Verifiable Text Generation with Symbolic References [27.01624440701639]
LLMの出力の手作業による検証を容易にするための簡単なアプローチとして,シンボリックグラウンドドジェネレーション(SymGen)を提案する。 SymGen は LLM に対して、ある条件データに存在するフィールドへの明示的なシンボル参照で、通常の出力テキストをインターリーブするように促す。様々なデータ・ツー・テキスト・問合せ実験において, LLM は, 高精度なシンボリック・レファレンスを生かしたテキストを直接出力し, 流用性や事実性を保ちながら, 正確なシンボリック・レファレンスを生かしたテキストを出力できることがわかった。
論文参考訳（メタデータ） (2023-11-15T18:28:29Z)
Do Large Language Models Know about Facts? [60.501902866946]
大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。 Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
論文参考訳（メタデータ） (2023-10-08T14:26:55Z)
Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
論文参考訳（メタデータ） (2022-05-05T17:59:31Z)
TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models [31.900232508466928]
TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
論文参考訳（メタデータ） (2022-04-29T16:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。