論文の概要: Metadata Shaping: Natural Language Annotations for the Tail
- arxiv url: http://arxiv.org/abs/2110.08430v1
- Date: Sat, 16 Oct 2021 01:00:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-21 19:20:16.435628
- Title: Metadata Shaping: Natural Language Annotations for the Tail
- Title（参考訳）: メタデータのシェーピング: テールのための自然言語アノテーション
- Authors: Simran Arora, Sen Wu, Enci Liu, Christopher Re
- Abstract要約: 言語モデル(LM)は目覚ましい進歩を遂げているが、訓練データから稀な言語パターンへの一般化に苦慮している。
本稿では,情報理論の指標に基づく例に,エンティティ記述やカテゴリタグなどの手軽に利用できるメタデータを付加する手法を提案する。
LMの変更はないが、メタデータの整形はBERTベースラインを5.3F1ポイントまで越え、最先端の結果と競合する。
- 参考スコア（独自算出の注目度）: 4.665656172490747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) have made remarkable progress, but still struggle to
generalize beyond the training data to rare linguistic patterns. Since rare
entities and facts are prevalent in the queries users submit to popular
applications such as search and personal assistant systems, improving the
ability of LMs to reliably capture knowledge over rare entities is a pressing
challenge studied in significant prior work. Noticing that existing approaches
primarily modify the LM architecture or introduce auxiliary objectives to
inject useful entity knowledge, we ask to what extent we could match the
quality of these architectures using a base LM architecture, and only changing
the data? We propose metadata shaping, a method in which readily available
metadata, such as entity descriptions and categorical tags, are appended to
examples based on information theoretic metrics. Intuitively, if metadata
corresponding to popular entities overlap with metadata for rare entities, the
LM may be able to better reason about the rare entities using patterns learned
from similar popular entities. On standard entity-rich tasks (TACRED, FewRel,
OpenEntity), with no changes to the LM whatsoever, metadata shaping exceeds the
BERT-baseline by up to 5.3 F1 points, and achieves or competes with
state-of-the-art results. We further show the improvements are up to 10x larger
on examples containing tail versus popular entities.
- Abstract（参考訳）: 言語モデル(LM)は目覚ましい進歩を遂げているが、トレーニングデータから稀な言語パターンへの一般化に苦慮している。
希少なエンティティや事実が検索やパーソナルアシスタントシステムなどの一般的なアプリケーションに提出されるクエリで一般的であるため、希少なエンティティ上の知識を確実に取得するlmsの能力向上は、重要な先行研究で研究されている課題である。
既存のアプローチがLMアーキテクチャを主に変更したり、有用なエンティティ知識を注入するための補助的な目的を導入したりしていることに気付き、基礎となるLMアーキテクチャを使ってこれらのアーキテクチャの品質にどの程度の幅で適合できるかを尋ねます。
本稿では,エンティティ記述やカテゴリタグといった利用可能なメタデータを,情報理論の指標に基づいた例に付加する手法であるメタデータシェーピングを提案する。
直感的には、人気のあるエンティティに対応するメタデータがレアエンティティのメタデータと重複している場合、LMは類似のポピュラーエンティティから学んだパターンを使用して、レアエンティティについてより良い推論を行うことができる。
標準的なエンティティリッチタスク(TACRED、FewRel、OpenEntity)では、LMの変更はないが、メタデータのシェーピングはBERTベースラインを最大5.3F1ポイント越え、最先端の結果と競合する。
さらに、テールと人気のあるエンティティを含む例では、改善が最大10倍になることを示す。
関連論文リスト
- Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。
本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。
実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-10-31T06:55:24Z) - Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - Utilising a Large Language Model to Annotate Subject Metadata: A Case
Study in an Australian National Research Data Catalogue [18.325675189960833]
オープンで再現可能な研究をサポートするために、研究のために利用可能なデータセットが急速に増えている。
データセットの可用性が向上するにつれて、それらの発見と再利用のための品質メタデータを持つことがより重要になる。
本稿では,LLMに基づくインコンテキスト学習を通じて,大規模言語モデル(LLM)を用いて,主題メタデータのコスト効率のよいアノテーションを提案する。
論文 参考訳（メタデータ） (2023-10-17T14:52:33Z) - Modeling Entities as Semantic Points for Visual Information Extraction
in the Wild [55.91783742370978]
文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。
我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。
提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
論文 参考訳（メタデータ） (2023-03-23T08:21:16Z) - Multi-Modal Fusion by Meta-Initialization [0.0]
モデル非依存メタラーニングアルゴリズム(MAML)の拡張を提案する。
これにより、モデルが補助情報とタスクエクスペリエンスを使って適応することが可能になる。
FuMIは、MAMLのようなユニモーダルベースラインを数発で上回っている。
論文 参考訳（メタデータ） (2022-10-10T17:00:58Z) - A Multi-Format Transfer Learning Model for Event Argument Extraction via
Variational Information Bottleneck [68.61583160269664]
イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。
変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。
3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
論文 参考訳（メタデータ） (2022-08-27T13:52:01Z) - Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。
本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。
本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
論文 参考訳（メタデータ） (2022-05-05T17:59:31Z) - Learning to Generalize Unseen Domains via Memory-based Multi-Source
Meta-Learning for Person Re-Identification [59.326456778057384]
本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。
また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。
実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
論文 参考訳（メタデータ） (2020-12-01T11:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。