論文の概要: CHEW: A Dataset of CHanging Events in Wikipedia
- arxiv url: http://arxiv.org/abs/2406.19116v1
- Date: Thu, 27 Jun 2024 11:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 14:17:52.520892
- Title: CHEW: A Dataset of CHanging Events in Wikipedia
- Title(参考訳): CHEW:ウィキペディアにおける変更イベントのデータセット
- Authors: Hsuvas Borkakoty, Luis Espinosa-Anke,
- Abstract要約: 自然発生テキストで表現されたウィキペディアのイベント変化データセットであるCHEWを紹介する。
我々はCHEWを用いて、生成および分類実験において、ウィキペディアのエンティティやイベントのタイムライン理解のためにLLMを探索する。
- 参考スコア(独自算出の注目度): 10.756673240445709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce CHEW, a novel dataset of changing events in Wikipedia expressed in naturally occurring text. We use CHEW for probing LLMs for their timeline understanding of Wikipedia entities and events in generative and classification experiments. Our results suggest that LLMs, despite having temporal information available, struggle to construct accurate timelines. We further show the usefulness of CHEW-derived embeddings for identifying meaning shift.
- Abstract(参考訳): 自然発生テキストで表現されたウィキペディアのイベント変化データセットであるCHEWを紹介する。
我々はCHEWを用いて、生成および分類実験において、ウィキペディアのエンティティやイベントのタイムライン理解のためにLLMを探索する。
この結果から,LLMは時間的情報を持っているにも関わらず,正確なタイムライン構築に苦慮していることが示唆された。
さらに,CHEW由来の埋め込みが意味変化の同定に有用であることを示す。
関連論文リスト
- AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳(メタデータ) (2025-02-08T16:18:37Z) - EvoWiki: Evaluating LLMs on Evolving Knowledge [72.92365627254063]
EvoWiki(エボウィキ)は、知識の進化を反映した進化的データセットである。
我々の結果は、現在のモデルは進化した知識に苦しむことが多く、時代遅れや誤った反応を頻繁に与えていることを示している。
EvoWikiは、大規模言語モデルの知識進化能力に関する将来の研究を進めるための堅牢なベンチマークを提供する。
論文 参考訳(メタデータ) (2024-12-18T08:04:57Z) - HelloFresh: LLM Evaluations on Streams of Real-World Human Editorial Actions across X Community Notes and Wikipedia edits [92.62157408704594]
HelloFreshは、本質的に動機づけられた人間のラベルによって生成された実世界のデータの連続的なストリームに基づいている。
ウィキペディアページのX(元Twitter)コミュニティノートと編集の最近のイベントをカバーしている。
テストデータの汚染とベンチマークオーバーフィッティングのリスクを軽減します。
論文 参考訳(メタデータ) (2024-06-05T16:25:57Z) - DyKnow: Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。
筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。
以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
論文 参考訳(メタデータ) (2024-04-10T18:08:59Z) - See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
知識編集が大規模言語モデル(LLM)の知識を更新
既存の作業はこの特性を無視し、編集には一般化が欠けている。
実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
論文 参考訳(メタデータ) (2024-01-15T09:09:14Z) - Fighting Fire with Fire: Adversarial Prompting to Generate a
Misinformation Detection Dataset [10.860133543817659]
誤報を識別するために, LLM を用いた銀標準地下構造データセットの作成手法を提案する。
具体的には、信頼できるニュース記事を考えると、我々の提案するアプローチは、LLMが元の記事の要約されたバージョンを自動的に生成するように促すことである。
本データセットの有用性を検討するために,誤情報検出のタスクに対して,教師付きモデルの範囲をトレーニングする一連の実験を行った。
論文 参考訳(メタデータ) (2024-01-09T10:38:13Z) - Towards Verifiable Text Generation with Symbolic References [27.01624440701639]
LLMの出力の手作業による検証を容易にするための簡単なアプローチとして,シンボリックグラウンドドジェネレーション(SymGen)を提案する。
SymGen は LLM に対して、ある条件データに存在するフィールドへの明示的なシンボル参照で、通常の出力テキストをインターリーブするように促す。
様々なデータ・ツー・テキスト・問合せ実験において, LLM は, 高精度なシンボリック・レファレンスを生かしたテキストを直接出力し, 流用性や事実性を保ちながら, 正確なシンボリック・レファレンスを生かしたテキストを出力できることがわかった。
論文 参考訳(メタデータ) (2023-11-15T18:28:29Z) - Do Large Language Models Know about Facts? [60.501902866946]
大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。
我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。
Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
論文 参考訳(メタデータ) (2023-10-08T14:26:55Z) - Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。
本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。
本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
論文 参考訳(メタデータ) (2022-05-05T17:59:31Z) - TemporalWiki: A Lifelong Benchmark for Training and Evaluating
Ever-Evolving Language Models [31.900232508466928]
TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである
研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。
連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
論文 参考訳(メタデータ) (2022-04-29T16:40:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。