論文の概要: FLAME: Self-Supervised Low-Resource Taxonomy Expansion using Large
Language Models
- arxiv url: http://arxiv.org/abs/2402.13623v1
- Date: Wed, 21 Feb 2024 08:50:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:20:19.093904
- Title: FLAME: Self-Supervised Low-Resource Taxonomy Expansion using Large
Language Models
- Title（参考訳）: FLAME:大規模言語モデルを用いた自己監督型低リソース分類拡張
- Authors: Sahil Mishra, Ujjwal Sudev, Tanmoy Chakraborty
- Abstract要約: タコノミは、eコマース検索エンジンやレコメンデーションシステムなど、様々な現実世界のアプリケーションで実用性を見出す。
伝統的に監督された分類学の拡張アプローチは、限られた資源から生じる困難に遭遇する。
我々は,大規模言語モデルの能力を活用して,低資源環境における分類学拡張のための新しいアプローチであるFLAMEを提案する。
- 参考スコア（独自算出の注目度）: 19.863010475923414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taxonomies represent an arborescence hierarchical structure that establishes
relationships among entities to convey knowledge within a specific domain. Each
edge in the taxonomy signifies a hypernym-hyponym relationship. Taxonomies find
utility in various real-world applications, such as e-commerce search engines
and recommendation systems. Consequently, there arises a necessity to enhance
these taxonomies over time. However, manually curating taxonomies with neoteric
data presents challenges due to limitations in available human resources and
the exponential growth of data. Therefore, it becomes imperative to develop
automatic taxonomy expansion methods. Traditional supervised taxonomy expansion
approaches encounter difficulties stemming from limited resources, primarily
due to the small size of existing taxonomies. This scarcity of training data
often leads to overfitting. In this paper, we propose FLAME, a novel approach
for taxonomy expansion in low-resource environments by harnessing the
capabilities of large language models that are trained on extensive real-world
knowledge. LLMs help compensate for the scarcity of domain-specific knowledge.
Specifically, FLAME leverages prompting in few-shot settings to extract the
inherent knowledge within the LLMs, ascertaining the hypernym entities within
the taxonomy. Furthermore, it employs reinforcement learning to fine-tune the
large language models, resulting in more accurate predictions. Experiments on
three real-world benchmark datasets demonstrate the effectiveness of FLAME in
real-world scenarios, achieving a remarkable improvement of 18.5% in accuracy
and 12.3% in Wu & Palmer metric over eight baselines. Furthermore, we elucidate
the strengths and weaknesses of FLAME through an extensive case study, error
analysis and ablation studies on the benchmarks.
- Abstract（参考訳）: 分類学は、特定の領域内で知識を伝達するエンティティ間の関係を確立するアーボラッセンス階層構造を表す。
分類学の各辺はハイパーニムとハイポニムの関係を表す。
分類学は、eコマース検索エンジンやレコメンデーションシステムなど、様々な現実世界のアプリケーションで有用性を見出す。
そのため、これらの分類を時間とともに強化する必要性が生じた。
しかし, 人的資源の制限や, 指数関数的なデータ増加が原因で, 人的分類学をネオテリックデータで手作業でキュレートすることは困難である。
そのため,自動分類展開法の開発が不可欠となる。
伝統的な分類体系の拡張アプローチでは、限られた資源から生じる困難に遭遇する。
このトレーニングデータの不足は、しばしば過度に適合する。
本稿では,大規模な言語モデルの能力を活用し,多様な実世界の知識を訓練し,低資源環境における分類学拡張のための新しいアプローチであるFLAMEを提案する。
LLMはドメイン固有の知識の不足を補うのに役立つ。
具体的には、FLAMEは、数発の設定でLLM内の固有の知識を抽出し、分類学内のハイパーネムエンティティを確認する。
さらに、強化学習を用いて大きな言語モデルを微調整し、より正確な予測を行う。
3つの実世界のベンチマークデータセットの実験では、FLAMEが現実世界のシナリオで有効であることを示し、18.5%の精度と12.3%のWu & Palmerメートル法を8基準で改善した。
さらに, FLAMEの強みと弱みを, 広範囲にわたるケーススタディ, エラー解析, およびベンチマークのアブレーション研究を通じて解明する。
関連論文リスト
- Automatic Bottom-Up Taxonomy Construction: A Software Application Domain Study [6.0158981171030685]
ソフトウェアアプリケーションドメイン分類に関するこれまでの研究は、適切な分類法が欠如しているため、課題に直面してきた。
本研究では,複数のデータソースを統合し,アンサンブル手法を活用することで,包括的ソフトウェアアプリケーション領域分類を開発することを目的とする。
論文 参考訳（メタデータ） (2024-09-24T08:55:07Z) - Are Large Language Models a Good Replacement of Taxonomies? [25.963448807848746]
大きな言語モデル(LLM)は、知識を内部化し、自然言語の質問に答える素晴らしい能力を示している。
知識グラフのスキーマ(つまり分類学)がLLMによって時代遅れにされているかどうかを問う。
論文 参考訳（メタデータ） (2024-06-17T01:21:50Z) - Creating a Fine Grained Entity Type Taxonomy Using LLMs [0.0]
本研究は, GPT-4とその先進的な反復である GPT-4 Turbo が, 詳細な実体型分類学を自律的に開発する可能性について検討する。
我々の目的は、広く分類されたエンティティタイプから始まる包括的な分類体系を構築することである。
この分類は、GPT-4の内部知識ベースを利用して反復的なプロンプト技術によって徐々に洗練される。
論文 参考訳（メタデータ） (2024-02-19T21:32:19Z) - Taxonomy Enrichment with Text and Graph Vector Representations [61.814256012166794]
我々は,既存の分類学に新たな語を加えることを目的とした分類学の豊かさの問題に対処する。
我々は,この課題に対して,少ない労力で高い結果を得られる新しい手法を提案する。
我々は、異なるデータセットにわたる最先端の結果を達成し、ミスの詳細なエラー分析を提供する。
論文 参考訳（メタデータ） (2022-01-21T09:01:12Z) - Large-scale Taxonomy Induction Using Entity and Word Embeddings [13.30719395448771]
本論文では,実体とテキスト埋め込みを用いた知識からの自動推定抽出手法 TIEmb を提案する。
本稿では,Wide Web の大部分から抽出されたクラス置換関係のデータベースである WebIsA データベースにアプローチを適用し,Person and Place ドメインの階層を抽出する。
論文 参考訳（メタデータ） (2021-05-04T05:53:12Z) - Who Should Go First? A Self-Supervised Concept Sorting Model for
Improving Taxonomy Expansion [50.794640012673064]
データとビジネスの範囲が実際のアプリケーションで拡大するにつれ、既存の概念を組み込むために拡張する必要がある。
分類学の拡張に関する以前の研究は、新しい概念を独立して同時に処理し、それらの間の潜在的な関係と操作を挿入する適切な順序を無視します。
本稿では,新しい概念の中で局所ハイパーニム・ハイプニム構造を同時に発見し,挿入順序を決定する新しい自己教師付きフレームワークであるtaxoorderを提案する。
論文 参考訳（メタデータ） (2021-04-08T11:00:43Z) - Studying Taxonomy Enrichment on Diachronic WordNet Versions [70.27072729280528]
本稿では,資源の乏しい環境での分類拡張の可能性について検討し,多数の言語に適用可能な手法を提案する。
我々は、分類の豊かさを訓練し評価するための新しい英語とロシア語のデータセットを作成し、他の言語のためのそのようなデータセットを作成する技術を記述する。
論文 参考訳（メタデータ） (2020-11-23T16:49:37Z) - Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。
本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。
Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
論文 参考訳（メタデータ） (2020-06-18T04:53:07Z) - STEAM: Self-Supervised Taxonomy Expansion with Mini-Paths [53.45704816829921]
本稿では,STEAMという自己管理型分類拡張モデルを提案する。
STEAMは自然の自己超越信号を生成し、ノードアタッチメント予測タスクを定式化する。
実験の結果、STEAMは11.6%の精度と7.0%の相反ランクで、最先端の分類法よりも優れていた。
論文 参考訳（メタデータ） (2020-06-18T00:32:53Z) - TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced
Graph Neural Network [62.12557274257303]
分類学は機械解釈可能な意味論から成り、多くのウェブアプリケーションに貴重な知識を提供する。
そこで我々は,既存の分類学から,クエリの集合を自動生成するTaxoExpanという,新しい自己教師型フレームワークを提案する。
本研究では,(1)既存の分類学におけるアンカー概念の局所構造を符号化する位置強調グラフニューラルネットワーク,(2)学習モデルが自己超越データにおけるラベルノイズに敏感になるようなノイズローバスト学習の2つの手法を開発する。
論文 参考訳（メタデータ） (2020-01-26T21:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。