Fugu-MT 論文翻訳(概要): Heterogeneous LLM Methods for Ontology Learning (Few-Shot Prompting, Ensemble Typing, and Attention-Based Taxonomies)

論文の概要: Heterogeneous LLM Methods for Ontology Learning (Few-Shot Prompting, Ensemble Typing, and Attention-Based Taxonomies)

arxiv url: http://arxiv.org/abs/2508.19428v1
Date: Tue, 26 Aug 2025 20:50:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-28 19:07:41.424433
Title: Heterogeneous LLM Methods for Ontology Learning (Few-Shot Prompting, Ensemble Typing, and Attention-Based Taxonomies)
Title（参考訳）: オントロジー学習のための不均一LLM法(全ショットプロンプ、アンサンブルタイピング、注意に基づく分類)
Authors: Aleksandra Beliaeva, Temurbek Rahmatullaev,
Abstract要約: LLMs4OL 2025チャレンジのタスクA,B,Cに対処する包括的システムを提案する。提案手法は、検索強化プロンプト、ゼロショット分類、アテンションに基づくグラフモデリングを組み合わせたものである。これらのモジュラーでタスク固有のソリューションによって、公式のリーダーボードで上位の成果を得られるようになりました。
参考スコア（独自算出の注目度）: 46.54026795022501
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a comprehensive system for addressing Tasks A, B, and C of the LLMs4OL 2025 challenge, which together span the full ontology construction pipeline: term extraction, typing, and taxonomy discovery. Our approach combines retrieval-augmented prompting, zero-shot classification, and attention-based graph modeling -- each tailored to the demands of the respective task. For Task A, we jointly extract domain-specific terms and their ontological types using a retrieval-augmented generation (RAG) pipeline. Training data was reformulated into a document to terms and types correspondence, while test-time inference leverages semantically similar training examples. This single-pass method requires no model finetuning and improves overall performance through lexical augmentation Task B, which involves assigning types to given terms, is handled via a dual strategy. In the few-shot setting (for domains with labeled training data), we reuse the RAG scheme with few-shot prompting. In the zero-shot setting (for previously unseen domains), we use a zero-shot classifier that combines cosine similarity scores from multiple embedding models using confidence-based weighting. In Task C, we model taxonomy discovery as graph inference. Using embeddings of type labels, we train a lightweight cross-attention layer to predict is-a relations by approximating a soft adjacency matrix. These modular, task-specific solutions enabled us to achieve top-ranking results in the official leaderboard across all three tasks. Taken together these strategies showcase the scalability, adaptability, and robustness of LLM-based architectures for ontology learning across heterogeneous domains. Code is available at: https://github.com/BelyaevaAlex/LLMs4OL-Challenge-Alexbek
Abstract（参考訳）: LLMs4OL 2025チャレンジのタスクA,B,Cに対処する包括的システムを提案する。我々のアプローチは、検索強化プロンプト、ゼロショット分類、アテンションベースのグラフモデリングを組み合わせ、それぞれのタスクの要求に合わせて調整する。タスクAでは、検索拡張生成(RAG)パイプラインを用いて、ドメイン固有の用語とその存在論的タイプを共同で抽出する。トレーニングデータは文書化されて用語と型対応に変換され、テストタイム推論は意味論的に類似したトレーニング例を活用する。このシングルパス方式は、モデル微調整を必要とせず、与えられた項に型を割り当てる語彙拡張タスクBを通じて全体的な性能を改善する。数ショット設定(ラベル付きトレーニングデータを持つドメインの場合)では、数ショットプロンプトでRAGスキームを再利用します。ゼロショット設定(以前の未確認領域の場合)では、信頼度に基づく重み付けを用いて複数の埋め込みモデルからのコサイン類似度スコアを組み合わせたゼロショット分類器を用いる。タスクCでは、分類学発見をグラフ推論としてモデル化する。タイプラベルの埋め込みを用いて、ソフトな隣接行列を近似することにより、Is-a関係を予測するために軽量なクロスアテンション層を訓練する。これらのモジュラーでタスク固有のソリューションによって、私たちは3つのタスクすべてで、公式のリーダーボードでトップレベルの結果を達成することができました。これらの戦略をまとめて、異種ドメインにわたるオントロジー学習のためのLLMベースのアーキテクチャのスケーラビリティ、適応性、堅牢性を示す。コードは、https://github.com/BelyaevaAlex/LLMs4OL-Challenge-Alexbekで入手できる。

論文の概要: Heterogeneous LLM Methods for Ontology Learning (Few-Shot Prompting, Ensemble Typing, and Attention-Based Taxonomies)

関連論文リスト