論文の概要: LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking
- arxiv url: http://arxiv.org/abs/2407.04020v3
- Date: Fri, 26 Sep 2025 13:30:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:53.823405
- Title: LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking
- Title（参考訳）: LLMAEL: 大規模言語モデルはエンティティリンクに適したコンテキスト拡張ツールである
- Authors: Amy Xin, Yunjia Qi, Zijun Yao, Fangwei Zhu, Kaisheng Zeng, Xu Bin, Lei Hou, Juanzi Li,
- Abstract要約: 特殊エンティティリンク(EL)モデルは、ユニークな知識ベース(KB)エンティティへのマッピングで十分に訓練されている。
広範に事前訓練された大型言語モデル(LLM)は、一般的でないエンティティの幅広い知識を持っている。
LLMデータ拡張による特殊ELモデルを拡張した最初のフレームワークであるLLMAEL(LLMAEL)を紹介する。
- 参考スコア（独自算出の注目度）: 46.577071330549984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Specialized entity linking (EL) models are well-trained at mapping mentions to unique knowledge base (KB) entities according to a given context. However, specialized EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, extensively pre-trained large language models (LLMs) possess broader knowledge of uncommon entities. Yet, with a lack of specialized EL training, LLMs frequently fail to generate accurate KB entity names, limiting their standalone effectiveness in EL. With the observation that LLMs are more adept at context generation instead of EL execution, we introduce LLM-Augmented Entity Linking (LLMAEL), the first framework to enhance specialized EL models with LLM data augmentation. LLMAEL leverages off-the-shelf, tuning-free LLMs as context augmenters, generating entity descriptions to serve as additional input for specialized EL models. Experiments show that LLMAEL sets new state-of-the-art results across 6 widely adopted EL benchmarks: compared to prior methods that integrate tuning-free LLMs into EL, LLMAEL achieves an absolute 8.9% gain in EL accuracy. We release our code and datasets.
- Abstract（参考訳）: 特殊エンティティリンク(EL)モデルは、与えられたコンテキストに応じて、ユニークな知識ベース(KB)エンティティへの参照をマッピングする際によく訓練される。
しかし、専門的なELモデルは、限られたトレーニングデータのため、ロングテールエンティティの曖昧さに苦慮している。
一方、広範に事前訓練された大型言語モデル(LLM)は、一般的でないエンティティに関する幅広い知識を持っている。
しかし、特殊な EL トレーニングが欠如しているため、LLM は正確な KB エンティティ名の生成に失敗し、EL のスタンドアロンの有効性を制限している。
LLM は EL 実行よりもコンテキスト生成に長けていることから,LLMAEL (LLM-Augmented Entity Linking) を導入した。
LLMAELは、既製のチューニング不要なLCMをコンテキスト拡張器として利用し、特殊なELモデルのための追加入力としてエンティティ記述を生成する。
実験の結果、LLMAELは6つの広く採用されているELベンチマークに対して、新しい最先端の結果を設定していることがわかった。
コードとデータセットをリリースします。
関連論文リスト
- Evaluation of LLMs on Long-tail Entity Linking in Historical Documents [1.9854418074386933]
GPT と LLama3 という2つの人気のある LLM の性能を,ロングテールなエンティティリンクのシナリオで評価する。
MHERCL v0.1は、ドメイン固有の歴史的テキストからテキストを手動で注釈付けしたベンチマークであり、エンティティをウィキデータエントリに識別・リンクする際のLLMの性能を定量的に比較する。
予備実験の結果,LLMは長尾ELにおいて良好に機能し,この技術は長尾ELと長尾ELのギャップを埋める上で有益であることが示唆された。
論文 参考訳（メタデータ） (2025-05-06T12:25:15Z) - Enhancing Discriminative Tasks by Guiding the Pre-trained Language Model with Large Language Model's Experience [4.814313782484443]
大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。
我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-16T06:37:59Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Learning to Reduce: Towards Improving Performance of Large Language Models on Structured Data [39.29778853025738]
大規模言語モデル(LLM)は、幅広い下流タスクにおいて有能なパフォーマンスを実現している。
本稿では、オン・ポリシー・ラーニングを用いて言語モデルを微調整し、入力された構造化データの縮小版を生成するフレームワークであるLearning to Reduceを提案する。
論文 参考訳（メタデータ） (2024-07-03T01:51:50Z) - MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。
MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
論文 参考訳（メタデータ） (2024-05-29T17:57:16Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳（メタデータ） (2023-06-22T07:57:19Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳（メタデータ） (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。