論文の概要: Contrastive Learning Using Graph Embeddings for Domain Adaptation of Language Models in the Process Industry

• arxiv url: http://arxiv.org/abs/2510.04631v1
• Date: Mon, 06 Oct 2025 09:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.782551
• Title: Contrastive Learning Using Graph Embeddings for Domain Adaptation of Language Models in the Process Industry
• Title（参考訳）: プロセス産業における言語モデルのドメイン適応のためのグラフ埋め込みを用いたコントラスト学習
• Authors: Anastasia Zhukova, Jonas Lührs, Christian E. Matt, Bela Gipp,
• Abstract要約: NLPの最近のトレンドは、知識グラフ(KG)を利用して事前訓練された言語モデルを強化する。 本稿では,プロセス産業領域にSciNCLを適用する方法について検討する。
• 参考スコア（独自算出の注目度）: 6.4652050261609615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent trends in NLP utilize knowledge graphs (KGs) to enhance pretrained language models by incorporating additional knowledge from the graph structures to learn domain-specific terminology or relationships between documents that might otherwise be overlooked. This paper explores how SciNCL, a graph-aware neighborhood contrastive learning methodology originally designed for scientific publications, can be applied to the process industry domain, where text logs contain crucial information about daily operations and are often structured as sparse KGs. Our experiments demonstrate that language models fine-tuned with triplets derived from GE outperform a state-of-the-art mE5-large text encoder by 9.8-14.3% (5.4-8.0p) on the proprietary process industry text embedding benchmark (PITEB) while being 3-5 times smaller in size.
• Abstract（参考訳）: NLPの最近のトレンドは、知識グラフ(KGs)を利用して、事前訓練された言語モデルを強化し、グラフ構造から追加の知識を取り入れて、ドメイン固有の用語や、見過ごされる可能性のあるドキュメント間の関係を学習している。 本稿は,SciNCLのプロセス産業領域において,テキストログが日々の操作に関する重要な情報を含んでおり,しばしばスパースKGとして構成されるような,グラフ対応近所のコントラスト学習手法をいかに応用できるかを考察する。 実験により,GE から派生した三重項を用いた言語モデルは,プロプライエタリなプロセス産業用テキスト埋め込みベンチマーク(PITEB)において,最先端の mE5 テキストエンコーダを 9.8-14.3% (5.4-8.0p) 上回った。

関連論文リスト

• Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
  完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。 従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
  論文  参考訳（メタデータ） (2024-10-02T12:07:47Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)
• Exploring Large Language Models for Knowledge Graph Completion [15.68895534638716]
  我々は知識グラフのトリプルをテキストシーケンスとみなし、知識グラフLLMと呼ばれる革新的なフレームワークを導入する。 提案手法では,三重項の実体的記述と関係的記述をプロンプトとして利用し,その応答を予測に利用する。 種々のベンチマーク知識グラフを用いた実験により,三重分類や関係予測といったタスクにおいて,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-08-26T16:51:17Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。