論文の概要: Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them

• arxiv url: http://arxiv.org/abs/2503.22006v1
• Date: Thu, 27 Mar 2025 21:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:30.880018
• Title: Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them
• Title（参考訳）: LLM生成データによるドメイン特化エンコーダモデルの強化:オントロジーの活用方法とテーマなしの実施方法
• Authors: Marc Brinner, Tarek Al Mustafa, Sina Zarrieß,
• Abstract要約: 限られたデータを持つ領域におけるエンコーダモデルの連続事前学習におけるLLM生成データの利用について検討する。 侵入生物学における埋め込みモデルの性能を評価するためのベンチマークをコンパイルする。 提案手法は,小さなエンコーダモデルのドメイン固有理解を向上させるために,完全自動パイプラインを実現することを実証した。
• 参考スコア（独自算出の注目度）: 9.952432291248954
• License:
• Abstract: We investigate the use of LLM-generated data for continual pretraining of encoder models in specialized domains with limited training data, using the scientific domain of invasion biology as a case study. To this end, we leverage domain-specific ontologies by enriching them with LLM-generated data and pretraining the encoder model as an ontology-informed embedding model for concept definitions. To evaluate the effectiveness of this method, we compile a benchmark specifically designed for assessing model performance in invasion biology. After demonstrating substantial improvements over standard LLM pretraining, we investigate the feasibility of applying the proposed approach to domains without comprehensive ontologies by substituting ontological concepts with concepts automatically extracted from a small corpus of scientific abstracts and establishing relationships between concepts through distributional statistics. Our results demonstrate that this automated approach achieves comparable performance using only a small set of scientific abstracts, resulting in a fully automated pipeline for enhancing domain-specific understanding of small encoder models that is especially suited for application in low-resource settings and achieves performance comparable to masked language modeling pretraining on much larger datasets.
• Abstract（参考訳）: 本研究では, LLM生成データを用いて, 限られた訓練データを持つ専門領域におけるエンコーダモデルの継続事前訓練を行い, 侵入生物学の科学的領域を事例として検討した。 この目的のために、LLM生成データでそれらをリッチ化し、概念定義のためのオントロジーインフォームド埋め込みモデルとしてエンコーダモデルを事前訓練することにより、ドメイン固有のオントロジーを活用する。 本手法の有効性を評価するため,侵略生物学におけるモデル性能の評価に特化して設計されたベンチマークをコンパイルする。 従来のLLMプリトレーニングよりも大幅に改善した上で,科学的な抽象概念の小さなコーパスから自動的に抽出された概念をオントロジ的概念に置換し,分布統計を通じて概念間の関係を確立することにより,包括的オントロジのない領域に提案手法を適用する可能性を検討した。 その結果,低リソース環境でのアプリケーションに特に適しており,より大規模なデータセットで事前学習するマスク付き言語モデリングに匹敵するパフォーマンスを実現する,小さなエンコーダモデルのドメイン固有理解を強化する完全自動パイプラインが実現された。

関連論文リスト

• Meta-Learning for Physically-Constrained Neural System Identification [9.417562391585076]
  ブラックボックスシステム識別のためのニューラルネットワークモデル(NSSM)の高速適応のための勾配に基づくメタラーニングフレームワークを提案する。 メタ学習モデルでは,室内の局所化とエネルギーシステムにおけるモデルベース状態推定において,ダウンストリーム性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-10T18:46:28Z)
• Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models [6.118896920507198]
  本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。 ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。 微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-10-04T04:21:53Z)
• A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models [1.3927943269211591]
  本稿では,大規模言語モデルの文脈内学習機能を活用してデータアノテーションを実行する実験を行う。 提案手法は,構造化プロンプトと最小限のエキスパートアノテーションを併用した数発の学習戦略を用いることで,科学的なKG生成モデルのドメイン適応を支援することができることを示す。
  論文  参考訳（メタデータ） (2024-08-05T11:06:36Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments [0.0]
  本研究では、ドメインランダム化を用いて、マルチモーダルインスタンスセグメンテーションモデルのトレーニングのための合成RGB-Dデータセットを生成する。 提案手法により,既存の最先端データセットでトレーニングしたモデルよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-12T13:02:08Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。