論文の概要: Entity Cloze By Date: What LMs Know About Unseen Entities

• arxiv url: http://arxiv.org/abs/2205.02832v1
• Date: Thu, 5 May 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 14:59:11.038159
• Title: Entity Cloze By Date: What LMs Know About Unseen Entities
• Title（参考訳）: Entity Cloze by Date: LMが未知のエンティティについて知っていること
• Authors: Yasumasa Onoe, Michael J.Q. Zhang, Eunsol Choi, Greg Durrett
• Abstract要約: 言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
• 参考スコア（独自算出の注目度）: 79.34707800653597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) are typically trained once on a large-scale corpus and used for years without being updated. However, in a dynamic world, new entities constantly arise. We propose a framework to analyze what LMs can infer about new entities that did not exist when the LMs were pretrained. We derive a dataset of entities indexed by their origination date and paired with their English Wikipedia articles, from which we can find sentences about each entity. We evaluate LMs' perplexity on masked spans within these sentences. We show that models more informed about the entities, such as those with access to a textual definition of them, achieve lower perplexity on this benchmark. Our experimental results demonstrate that making inferences about new entities remains difficult for LMs. Given its wide coverage on entity knowledge and temporal indexing, our dataset can be used to evaluate LMs and techniques designed to modify or extend their knowledge. Our automatic data collection pipeline can be easily used to continually update our benchmark.
• Abstract（参考訳）: 言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 しかし、ダイナミックな世界では、常に新しい実体が発生する。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMが推論できることを分析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。 これらの文中のマスク付きスパンにおけるLMの難易度を評価する。 このベンチマークでは,テキスト定義にアクセスできるようなエンティティに関するモデルの方が,より複雑度が低いことを示す。 実験の結果, lmsでは新たなエンティティの推論が難しいことが判明した。 エンティティ知識とテンポラリインデクシングに関する広範なカバレッジを考えると、私たちのデータセットは、その知識を変更または拡張するために設計されたlmsとテクニックを評価するために使用できます。 私たちの自動データ収集パイプラインは、ベンチマークを継続的に更新するために簡単に使用できます。

関連論文リスト

• Learning from Natural Language Explanations for Generalizable Entity Matching [19.978468744557173]
  バイナリ分類とは対照的に、条件生成タスクとしてエンティティマッチングを再キャストする。 これにより、LLM推論を自然言語による説明を通じて、より小さなエンティティマッチングモデルに分割することが可能になる。
  論文  参考訳（メタデータ） (2024-06-13T17:08:58Z)
• Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
  パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。 幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。 我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
  論文  参考訳（メタデータ） (2024-03-05T18:22:33Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• TempEL: Linking Dynamically Evolving and Newly Emerging Entities [50.980331847622026]
  進化を続ける世界では、エンティティは時間とともに変化し、これまで存在していなかった、あるいは未知の、新しいエンティティが現れます。 本研究では,この進化シナリオが,十分に確立されたエンティティリンク(EL)タスクの性能に与える影響について検討する。 我々は,2013年から2022年までの英語ウィキペディアスナップショットからなるエンティティリンクデータセットであるTempELを紹介した。
  論文  参考訳（メタデータ） (2023-02-05T22:34:36Z)
• IELM: An Open Information Extraction Benchmark for Pre-Trained Language Models [75.48081086368606]
  我々は、事前学習言語モデル(LM)のための新しいオープン情報抽出(OIE)ベンチマークを導入する。 我々は、事前訓練されたLMに存在するオープンリレーショナル情報を十分に検証することを目的としたOIEベンチマークを作成する。 驚いたことに、事前訓練されたLMは、両方の標準OIEデータセットで競合する性能を得ることができる。
  論文  参考訳（メタデータ） (2022-10-25T16:25:00Z)
• TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models [31.900232508466928]
  TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである 研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。 連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
  論文  参考訳（メタデータ） (2022-04-29T16:40:07Z)
• Metadata Shaping: Natural Language Annotations for the Tail [4.665656172490747]
  言語モデル(LM)は目覚ましい進歩を遂げているが、訓練データから稀な言語パターンへの一般化に苦慮している。 本稿では,情報理論の指標に基づく例に,エンティティ記述やカテゴリタグなどの手軽に利用できるメタデータを付加する手法を提案する。 LMの変更はないが、メタデータの整形はBERTベースラインを5.3F1ポイントまで越え、最先端の結果と競合する。
  論文  参考訳（メタデータ） (2021-10-16T01:00:47Z)
• Towards Continual Entity Learning in Language Models for Conversational Agents [0.5330240017302621]
  我々はエンティティ認識言語モデル(EALM)を導入し、エンティティのカタログに基づいて訓練されたエンティティモデルを事前訓練されたLMに統合する。 統合言語モデルでは,文コンテキストに応じて,エンティティモデルからの情報を事前学習したLMに適応的に付加する。 タスク指向対話データセットでは,特に長文発話では,難易度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-07-30T21:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。