論文の概要: Effective Few-Shot Named Entity Linking by Meta-Learning

• arxiv url: http://arxiv.org/abs/2207.05280v1
• Date: Tue, 12 Jul 2022 03:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:56:51.209251
• Title: Effective Few-Shot Named Entity Linking by Meta-Learning
• Title（参考訳）: メタラーニングによる実効的なファウショット名付きエンティティリンク
• Authors: Xiuxing Li, Zhenyu Li, Zhengyan Zhang, Ning Liu, Haitao Yuan, Wei Zhang, Zhiyuan Liu, Jianyong Wang
• Abstract要約: 本稿では,非自明な合成エンティティ-メント対を生成するための新しい弱監督戦略を提案する。 また,各合成実体対に異なる重みを割り当てるメタ学習機構を設計する。 実世界のデータセットの実験により、提案手法は最先端の少数ショットエンティティリンクモデルを大幅に改善できることが示された。
• 参考スコア（独自算出の注目度）: 34.70028855572534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity linking aims to link ambiguous mentions to their corresponding entities in a knowledge base, which is significant and fundamental for various downstream applications, e.g., knowledge base completion, question answering, and information extraction. While great efforts have been devoted to this task, most of these studies follow the assumption that large-scale labeled data is available. However, when the labeled data is insufficient for specific domains due to labor-intensive annotation work, the performance of existing algorithms will suffer an intolerable decline. In this paper, we endeavor to solve the problem of few-shot entity linking, which only requires a minimal amount of in-domain labeled data and is more practical in real situations. Specifically, we firstly propose a novel weak supervision strategy to generate non-trivial synthetic entity-mention pairs based on mention rewriting. Since the quality of the synthetic data has a critical impact on effective model training, we further design a meta-learning mechanism to assign different weights to each synthetic entity-mention pair automatically. Through this way, we can profoundly exploit rich and precious semantic information to derive a well-trained entity linking model under the few-shot setting. The experiments on real-world datasets show that the proposed method can extensively improve the state-of-the-art few-shot entity linking model and achieve impressive performance when only a small amount of labeled data is available. Moreover, we also demonstrate the outstanding ability of the model's transferability.
• Abstract（参考訳）: エンティティリンクは、知識ベースで対応するエンティティへのあいまいな言及をリンクすることを目的としており、知識ベース補完、質問応答、情報抽出など、様々な下流アプリケーションにおいて重要である。 このタスクには多大な努力が費やされてきたが、これらの研究のほとんどは大規模ラベル付きデータを利用できるという仮定に従っている。 しかし、労働集約的なアノテーション作業のためにラベル付きデータが特定のドメインに不十分な場合、既存のアルゴリズムの性能は耐え難く低下する。 本稿では,最小限のドメイン内ラベル付きデータしか必要とせず,現実の状況ではより実用的である,少数ショットエンティティリンクの問題を解決する。 具体的には,参照書き換えに基づく非自明な合成エンティティ・メンションペアを生成するための,新しい弱い監督戦略を提案する。 合成データの質は効果的なモデルトレーニングに重大な影響を与えるため、各合成エンティティ-メントペアに異なる重みを割り当てるメタ学習機構を設計する。 この方法では、リッチで貴重なセマンティック情報を深く活用して、訓練されたエンティティリンクモデルを、わずかな設定で導出することができます。 実世界のデータセットに対する実験により,提案手法は最先端の少数ショットエンティティリンクモデルを大幅に改善し,少量のラベル付きデータしか利用できない場合,印象的な性能が得られることが示された。 さらに,モデルの伝達性にも優れることを示す。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Versatile Medical Image Segmentation Learned from Multi-Source Datasets via Model Self-Disambiguation [9.068045557591612]
  本稿では,トレーニングのために,部分的あるいはスパースなセグメンテーションラベルのみを用いたマルチソースデータを活用する,費用対効果の代替案を提案する。 我々は,非一貫性なラベル付きマルチソースデータに関わる課題に対処するために,自己曖昧性,事前知識の取り込み,不均衡緩和の戦略を考案する。
  論文  参考訳（メタデータ） (2023-11-17T18:28:32Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• Combining Public Human Activity Recognition Datasets to Mitigate Labeled Data Scarcity [1.274578243851308]
  本稿では,一般公開されたデータセットと一般化されたHARモデルを学習するための新たな戦略を提案する。 我々の実験評価は、さまざまな最先端ニューラルネットワークアーキテクチャの実験を含むもので、公開データセットを組み合わせることで、ラベル付きサンプルの数を著しく削減できることを示している。
  論文  参考訳（メタデータ） (2023-06-23T18:51:22Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。