論文の概要: Prompting or Fine-tuning? A Comparative Study of Large Language Models
for Taxonomy Construction
- arxiv url: http://arxiv.org/abs/2309.01715v1
- Date: Mon, 4 Sep 2023 16:53:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 17:53:29.446774
- Title: Prompting or Fine-tuning? A Comparative Study of Large Language Models
for Taxonomy Construction
- Title(参考訳): プロンプティングかファインチューニングか?
分類学構築のための大規模言語モデルの比較研究
- Authors: Boqi Chen, Fandi Yi, D\'aniel Varr\'o
- Abstract要約: 構造的制約を考慮した分類学構築のための一般的な枠組みを提案する。
我々は,超音速分類法と新しいコンピュータサイエンス分類法データセットで実施される即興的および微調整的アプローチを比較した。
- 参考スコア(独自算出の注目度): 0.8670827427401335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taxonomies represent hierarchical relations between entities, frequently
applied in various software modeling and natural language processing (NLP)
activities. They are typically subject to a set of structural constraints
restricting their content. However, manual taxonomy construction can be
time-consuming, incomplete, and costly to maintain. Recent studies of large
language models (LLMs) have demonstrated that appropriate user inputs (called
prompting) can effectively guide LLMs, such as GPT-3, in diverse NLP tasks
without explicit (re-)training. However, existing approaches for automated
taxonomy construction typically involve fine-tuning a language model by
adjusting model parameters. In this paper, we present a general framework for
taxonomy construction that takes into account structural constraints. We
subsequently conduct a systematic comparison between the prompting and
fine-tuning approaches performed on a hypernym taxonomy and a novel computer
science taxonomy dataset. Our result reveals the following: (1) Even without
explicit training on the dataset, the prompting approach outperforms
fine-tuning-based approaches. Moreover, the performance gap between prompting
and fine-tuning widens when the training dataset is small. However, (2)
taxonomies generated by the fine-tuning approach can be easily post-processed
to satisfy all the constraints, whereas handling violations of the taxonomies
produced by the prompting approach can be challenging. These evaluation
findings provide guidance on selecting the appropriate method for taxonomy
construction and highlight potential enhancements for both approaches.
- Abstract(参考訳): 分類はエンティティ間の階層的関係を表し、様々なソフトウェアモデリングや自然言語処理(nlp)活動に頻繁に適用される。
それらは通常、コンテンツを制限する一連の構造的な制約を受ける。
しかし、手動の分類学の構築には時間がかかるし、不完全で、メンテナンスに費用がかかる。
近年の大規模言語モデル (LLM) の研究により, GPT-3 などの LLM を明示的に (再) 学習することなく, 多様な NLP タスクにおいて効果的に誘導できることが示されている。
しかし、既存の分類体系構築のアプローチでは、モデルパラメータを調整して言語モデルを微調整することが一般的である。
本稿では,構造的制約を考慮した分類構築のための一般的な枠組みを提案する。
その後,ハイパーニム分類法と新しい計算機科学分類法データセットを用いて,提案手法と微調整手法の系統的比較を行った。
1)データセット上で明示的なトレーニングを行わなくても,プロンプトアプローチは微調整ベースのアプローチよりも優れています。
さらに、トレーニングデータセットが小さい場合には、プロンプトと微調整の間のパフォーマンスギャップが大きくなる。
しかし,(2)微調整アプローチによって生成される分類学は,すべての制約を満たすために後処理が簡単であり,一方,プロンプトアプローチによって生成される分類学の違反を扱うことは困難である。
これらの評価結果は,分類体系構築の適切な方法を選択するためのガイダンスを提供し,両者のアプローチの潜在的な強化を強調する。
関連論文リスト
- Creating a Fine Grained Entity Type Taxonomy Using LLMs [0.0]
本研究は, GPT-4とその先進的な反復である GPT-4 Turbo が, 詳細な実体型分類学を自律的に開発する可能性について検討する。
我々の目的は、広く分類されたエンティティタイプから始まる包括的な分類体系を構築することである。
この分類は、GPT-4の内部知識ベースを利用して反復的なプロンプト技術によって徐々に洗練される。
論文 参考訳(メタデータ) (2024-02-19T21:32:19Z) - Chain-of-Layer: Iteratively Prompting Large Language Models for Taxonomy
Induction from Limited Examples [36.6343184234699]
Chain-of-Layerは、特定のエンティティセットから誘導されるように設計された、コンテキスト学習フレームワークである。
実世界の4つのベンチマークにおいて,Chain-of-Layerが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2024-02-12T03:05:54Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - Bringing motion taxonomies to continuous domains via GPLVM on hyperbolic
manifolds [8.90516015248695]
人間の動きは、人間の動きと環境との相互作用の仕方を分類する高レベルの階層的抽象化として機能する。
階層と下位のカテゴリの設計に多大な努力を払っているにも関わらず、その使用は限られている。
これは、分類学の離散的階層構造と、そのカテゴリに関連する高次元の不均一なデータの間のギャップを埋める計算モデルが欠如していることに起因する可能性がある。
論文 参考訳(メタデータ) (2022-10-04T15:19:24Z) - Convex Polytope Modelling for Unsupervised Derivation of Semantic
Structure for Data-efficient Natural Language Understanding [31.888489552069146]
Convex-Polytopic-Modelベースのフレームワークは、生のダイアログコーパスを利用して意味パターンを自動的に抽出する大きな可能性を示している。
このフレームワークは,コーパスのセマンティックフレーム関連機能を活用し,発話の基盤となるセマンティック構造を明らかにし,最小限の監視で最先端のNLUモデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-01-25T19:12:44Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。
本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。
Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
論文 参考訳(メタデータ) (2020-06-18T04:53:07Z) - STEAM: Self-Supervised Taxonomy Expansion with Mini-Paths [53.45704816829921]
本稿では,STEAMという自己管理型分類拡張モデルを提案する。
STEAMは自然の自己超越信号を生成し、ノードアタッチメント予測タスクを定式化する。
実験の結果、STEAMは11.6%の精度と7.0%の相反ランクで、最先端の分類法よりも優れていた。
論文 参考訳(メタデータ) (2020-06-18T00:32:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。