論文の概要: Autoregressive Language Models for Knowledge Base Population: A case study in the space mission domain

• arxiv url: http://arxiv.org/abs/2503.18502v1
• Date: Mon, 24 Mar 2025 09:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:16.100090
• Title: Autoregressive Language Models for Knowledge Base Population: A case study in the space mission domain
• Title（参考訳）: 知識ベース人口の自己回帰型言語モデル:宇宙ミッション領域におけるケーススタディ
• Authors: Andrés García-Silva, José Manuel Gómez-Pérez,
• Abstract要約: 知識ベース人口KBPは、組織における知識ベースを最新のものにし、維持する上で重要な役割を担っている。 大規模言語モデルがサポートするコンテキストウィンドウの増大に動機づけられ, エンド・ツー・エンド KPB のための自己回帰型言語モデルを微調整することを提案する。
• 参考スコア（独自算出の注目度）: 0.33908852360736447
• License:
• Abstract: Knowledge base population KBP plays a crucial role in populating and maintaining knowledge bases up-to-date in organizations by leveraging domain corpora. Motivated by the increasingly large context windows supported by large language models, we propose to fine-tune an autoregressive language model for end-toend KPB. Our case study involves the population of a space mission knowledge graph. To fine-tune the model we generate a dataset for end-to-end KBP tapping into existing domain resources. Our case study shows that fine-tuned language models of limited size can achieve competitive and even higher accuracy than larger models in the KBP task. Smaller models specialized for KBP offer affordable deployment and lower-cost inference. Moreover, KBP specialist models do not require the ontology to be included in the prompt, allowing for more space in the context for additional input text or output serialization.
• Abstract（参考訳）: 知識ベース人口KBPは、ドメインコーパスを活用することにより、組織における知識ベースを最新の状態に保つ上で重要な役割を担っている。 大規模言語モデルがサポートするコンテキストウィンドウの増大に動機づけられ, エンド・ツー・エンド KPB のための自己回帰型言語モデルを微調整することを提案する。 私たちのケーススタディは、宇宙ミッションの知識グラフの人口に関するものです。 モデルを微調整するために、既存のドメインリソースにタップするエンドツーエンドのKBP用のデータセットを生成します。 ケーススタディでは、限られたサイズの微調整言語モデルは、KBPタスクのより大きなモデルよりも競争力があり、さらに精度が高いことが示されている。 KBPに特化したより小型のモデルは、手頃な展開と低コストの推論を提供する。 さらに、KBPのスペシャリストモデルは、オントロジーをプロンプトに含める必要はなく、追加の入力テキストや出力シリアライゼーションのコンテキストにより多くのスペースを割り当てることができる。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [39.67113788660731]
  グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。 特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
  論文  参考訳（メタデータ） (2024-02-09T19:53:29Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA [28.642711264323786]
  テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。 事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
  論文  参考訳（メタデータ） (2023-08-28T09:22:02Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems [79.02430277138801]
  知識ベース(KB)は、ユーザの要求を満たす上で重要な役割を担います。 エンド・ツー・エンドのシステムは直接KBを入力として使用するが、KBが数百のエントリより大きい場合にはスケールできない。 モデルパラメータに直接KBを埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T22:13:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。