論文の概要: Prompting or Fine-tuning? A Comparative Study of Large Language Models
for Taxonomy Construction
- arxiv url: http://arxiv.org/abs/2309.01715v1
- Date: Mon, 4 Sep 2023 16:53:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 17:53:29.446774
- Title: Prompting or Fine-tuning? A Comparative Study of Large Language Models
for Taxonomy Construction
- Title（参考訳）: プロンプティングかファインチューニングか?
分類学構築のための大規模言語モデルの比較研究
- Authors: Boqi Chen, Fandi Yi, D\'aniel Varr\'o
- Abstract要約: 構造的制約を考慮した分類学構築のための一般的な枠組みを提案する。
我々は,超音速分類法と新しいコンピュータサイエンス分類法データセットで実施される即興的および微調整的アプローチを比較した。
- 参考スコア（独自算出の注目度）: 0.8670827427401335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Taxonomies represent hierarchical relations between entities, frequently
applied in various software modeling and natural language processing (NLP)
activities. They are typically subject to a set of structural constraints
restricting their content. However, manual taxonomy construction can be
time-consuming, incomplete, and costly to maintain. Recent studies of large
language models (LLMs) have demonstrated that appropriate user inputs (called
prompting) can effectively guide LLMs, such as GPT-3, in diverse NLP tasks
without explicit (re-)training. However, existing approaches for automated
taxonomy construction typically involve fine-tuning a language model by
adjusting model parameters. In this paper, we present a general framework for
taxonomy construction that takes into account structural constraints. We
subsequently conduct a systematic comparison between the prompting and
fine-tuning approaches performed on a hypernym taxonomy and a novel computer
science taxonomy dataset. Our result reveals the following: (1) Even without
explicit training on the dataset, the prompting approach outperforms
fine-tuning-based approaches. Moreover, the performance gap between prompting
and fine-tuning widens when the training dataset is small. However, (2)
taxonomies generated by the fine-tuning approach can be easily post-processed
to satisfy all the constraints, whereas handling violations of the taxonomies
produced by the prompting approach can be challenging. These evaluation
findings provide guidance on selecting the appropriate method for taxonomy
construction and highlight potential enhancements for both approaches.
- Abstract（参考訳）: 分類はエンティティ間の階層的関係を表し、様々なソフトウェアモデリングや自然言語処理(nlp)活動に頻繁に適用される。
それらは通常、コンテンツを制限する一連の構造的な制約を受ける。
しかし、手動の分類学の構築には時間がかかるし、不完全で、メンテナンスに費用がかかる。
近年の大規模言語モデル (LLM) の研究により, GPT-3 などの LLM を明示的に (再) 学習することなく, 多様な NLP タスクにおいて効果的に誘導できることが示されている。
しかし、既存の分類体系構築のアプローチでは、モデルパラメータを調整して言語モデルを微調整することが一般的である。
本稿では,構造的制約を考慮した分類構築のための一般的な枠組みを提案する。
その後,ハイパーニム分類法と新しい計算機科学分類法データセットを用いて,提案手法と微調整手法の系統的比較を行った。
1)データセット上で明示的なトレーニングを行わなくても,プロンプトアプローチは微調整ベースのアプローチよりも優れています。
さらに、トレーニングデータセットが小さい場合には、プロンプトと微調整の間のパフォーマンスギャップが大きくなる。
しかし,(2)微調整アプローチによって生成される分類学は,すべての制約を満たすために後処理が簡単であり,一方,プロンプトアプローチによって生成される分類学の違反を扱うことは困難である。
これらの評価結果は,分類体系構築の適切な方法を選択するためのガイダンスを提供し,両者のアプローチの潜在的な強化を強調する。
関連論文リスト
- How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Automatic Bottom-Up Taxonomy Construction: A Software Application Domain Study [6.0158981171030685]
ソフトウェアアプリケーションドメイン分類に関するこれまでの研究は、適切な分類法が欠如しているため、課題に直面してきた。
本研究では,複数のデータソースを統合し,アンサンブル手法を活用することで,包括的ソフトウェアアプリケーション領域分類を開発することを目的とする。
論文 参考訳（メタデータ） (2024-09-24T08:55:07Z) - CodeTaxo: Enhancing Taxonomy Expansion with Limited Examples via Code Language Prompts [40.52605902842168]
textscCodeTaxoは、コード言語プロンプトを通じて大きな言語モデルを活用する新しいアプローチである。
異なるドメインの5つの実世界のベンチマークの実験では、textscCodeTaxoはすべての評価指標に対して一貫して優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-08-17T02:15:07Z) - The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。
我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。
言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
論文 参考訳（メタデータ） (2024-07-02T07:12:51Z) - Creating a Fine Grained Entity Type Taxonomy Using LLMs [0.0]
本研究は, GPT-4とその先進的な反復である GPT-4 Turbo が, 詳細な実体型分類学を自律的に開発する可能性について検討する。
我々の目的は、広く分類されたエンティティタイプから始まる包括的な分類体系を構築することである。
この分類は、GPT-4の内部知識ベースを利用して反復的なプロンプト技術によって徐々に洗練される。
論文 参考訳（メタデータ） (2024-02-19T21:32:19Z) - Chain-of-Layer: Iteratively Prompting Large Language Models for Taxonomy Induction from Limited Examples [34.88498567698853]
Chain-of-Layerは、特定のエンティティセットから誘導されるように設計された、コンテキスト学習フレームワークである。
実世界の4つのベンチマークにおいて,Chain-of-Layerが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-02-12T03:05:54Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。
より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。
提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
論文 参考訳（メタデータ） (2023-10-09T13:29:37Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - Octet: Online Catalog Taxonomy Enrichment with Self-Supervision [67.26804972901952]
オンラインカタログエンリッチメンTのための自己教師型エンドツーエンドフレームワークOctopを提案する。
本稿では,用語抽出のためのシーケンスラベリングモデルをトレーニングし,分類構造を捉えるためにグラフニューラルネットワーク(GNN)を用いることを提案する。
Octetは、オンラインカタログを、オープンワールド評価の2倍に強化する。
論文 参考訳（メタデータ） (2020-06-18T04:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。