論文の概要: End-to-End Ontology Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.23584v1
• Date: Thu, 31 Oct 2024 02:52:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:15.666041
• Title: End-to-End Ontology Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたエンド・ツー・エンドオントロジー学習
• Authors: Andy Lo, Albert Q. Jiang, Wenda Li, Mateja Jamnik,
• Abstract要約: 大規模言語モデル(LLM)は、オントロジー学習の様々なサブタスクを解決するために応用されている。 我々は、オントロジーの分類学的バックボーンをスクラッチから構築する汎用的でスケーラブルな方法であるOLLMによって、このギャップに対処する。 標準的なメトリクスとは対照的に、私たちのメトリクスは、グラフ間のより堅牢な構造的距離測定を定義するためにディープラーニング技術を使用します。 私たちのモデルは、arXivのような新しいドメインに効果的に適用できます。
• 参考スコア（独自算出の注目度）: 11.755755139228219
• License:
• Abstract: Ontologies are useful for automatic machine processing of domain knowledge as they represent it in a structured format. Yet, constructing ontologies requires substantial manual effort. To automate part of this process, large language models (LLMs) have been applied to solve various subtasks of ontology learning. However, this partial ontology learning does not capture the interactions between subtasks. We address this gap by introducing OLLM, a general and scalable method for building the taxonomic backbone of an ontology from scratch. Rather than focusing on subtasks, like individual relations between entities, we model entire subcomponents of the target ontology by finetuning an LLM with a custom regulariser that reduces overfitting on high-frequency concepts. We introduce a novel suite of metrics for evaluating the quality of the generated ontology by measuring its semantic and structural similarity to the ground truth. In contrast to standard metrics, our metrics use deep learning techniques to define more robust distance measures between graphs. Both our quantitative and qualitative results on Wikipedia show that OLLM outperforms subtask composition methods, producing more semantically accurate ontologies while maintaining structural integrity. We further demonstrate that our model can be effectively adapted to new domains, like arXiv, needing only a small number of training examples. Our source code and datasets are available at https://github.com/andylolu2/ollm.
• Abstract（参考訳）: オントロジは、ドメイン知識を構造化形式で表現するので、自動処理に役立ちます。 しかし、オントロジの構築にはかなりの手作業が必要である。 このプロセスの一部を自動化するために,大規模言語モデル (LLM) をオントロジー学習の様々なサブタスクに応用した。 しかし、この部分的なオントロジー学習はサブタスク間の相互作用を捉えない。 我々は、オントロジーの分類学的バックボーンをスクラッチから構築する汎用的でスケーラブルな方法であるOLLMを導入することで、このギャップに対処する。 エンティティ間の個々の関係のようなサブタスクに焦点をあてるのではなく、LLMを高周波概念への過度な適合を減らすカスタム正規化器で微調整することで、ターゲットオントロジーのサブコンポーネント全体をモデル化する。 そこで本研究では,生成オントロジーの質を評価するために,その意味的および構造的類似度を基底真理と測定する手法を提案する。 標準的なメトリクスとは対照的に、私たちのメトリクスは、グラフ間のより堅牢な距離測定を定義するためにディープラーニング技術を使用します。 量的および質的な結果はどちらも、OLLMがサブタスク合成法より優れており、構造的整合性を維持しつつ、より意味論的に正確なオントロジーを生み出していることを示している。 さらに、我々のモデルは、arXivのような新しいドメインに効果的に適応できることを示し、少数のトレーニング例しか必要としない。 ソースコードとデータセットはhttps://github.com/andylolu2/ollm.comで公開しています。

関連論文リスト

• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Large language models as oracles for instantiating ontologies with domain-specific knowledge [0.0]
  セマンティックなデータでインテリジェントなシステムを構築するには、ドメイン固有の知識を設計し、インスタンス化する必要がある。 結果として得られる経験プロセスは、時間を要する、エラーを起こしやすい、オントロジーデザイナーの個人的な背景に偏っていることが多い。 ドメイン固有の知識を自動的にインスタンス化するための,ドメインに依存しない新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-05T14:04:07Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• A Meta-Learning Approach to Population-Based Modelling of Structures [0.0]
  構造力学における機械学習アプローチの大きな問題は、構造データの頻繁な欠如である。 この研究は、人口ベースの構造的健康モニタリングの分野に着想を得て、人口内で知識を伝達できるモデルを作成しようとしている。 メタラーニングアプローチを用いて訓練されたモデルは、人口構造に関する推論に関する従来の機械学習手法より優れている。
  論文  参考訳（メタデータ） (2023-02-15T23:01:59Z)
• Vision Based Machine Learning Algorithms for Out-of-Distribution Generalisation [3.236217153362305]
  ドメインシフトに対処しなければならない場合、単純な畳み込みニューラルネットワーク(CNN)ベースのディープラーニング手法が不十分であることを示す。 PACSとOffice-Homeの2つの人気のあるビジョンベースのベンチマークで実験が行われている。
  論文  参考訳（メタデータ） (2023-01-17T15:58:29Z)
• Automatic Semantic Modeling for Structural Data Source with the Prior Knowledge from Knowledge Base [15.075047172918547]
  本稿では、機械学習、グラフマッチング、修正された頻繁なサブグラフマイニングを用いて、構造化データソースを意味的に注釈付けする新しい手法を提案する。 提案手法は,少数のモデルしか知られていない難解な場合において,最先端の2つのソリューションより優れている。
  論文  参考訳（メタデータ） (2022-12-21T10:54:59Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
  私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
  論文  参考訳（メタデータ） (2021-04-15T04:01:02Z)
• Multifaceted Context Representation using Dual Attention for Ontology Alignment [6.445605125467574]
  オントロジーアライメントは、データ統合、データ転送、データ準備など、さまざまな分野に適用できる重要な研究課題である。 We propose VeeAlign, a Deep Learning based model that using a dual-attention mechanism to compute the contextualized representation of a concept to learn alignments。 我々は、異なるドメインや多言語設定の様々なデータセットに対するアプローチを検証するとともに、SOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-16T18:28:38Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。