論文の概要: Using External knowledge to Enhanced PLM for Semantic Matching

• arxiv url: http://arxiv.org/abs/2505.06605v1
• Date: Sat, 10 May 2025 11:33:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.938321
• Title: Using External knowledge to Enhanced PLM for Semantic Matching
• Title（参考訳）: セマンティックマッチングにおける外部知識を用いた拡張PLM
• Authors: Min Li, Chun Yuan,
• Abstract要約: 本稿では,事前学習された意味的関連性判別モデルを強化するために,外部知識を用いる。 10個の公開データセットに対する実験結果から,本手法が一貫した性能向上を実現することが示された。
• 参考スコア（独自算出の注目度）: 38.125341836302525
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modeling semantic relevance has always been a challenging and critical task in natural language processing. In recent years, with the emergence of massive amounts of annotated data, it has become feasible to train complex models, such as neural network-based reasoning models. These models have shown excellent performance in practical applications and have achieved the current state-ofthe-art performance. However, even with such large-scale annotated data, we still need to think: Can machines learn all the knowledge necessary to perform semantic relevance detection tasks based on this data alone? If not, how can neural network-based models incorporate external knowledge into themselves, and how can relevance detection models be constructed to make full use of external knowledge? In this paper, we use external knowledge to enhance the pre-trained semantic relevance discrimination model. Experimental results on 10 public datasets show that our method achieves consistent improvements in performance compared to the baseline model.
• Abstract（参考訳）: 意味的関連性のモデリングは、自然言語処理において常に困難で重要なタスクである。 近年、大量の注釈付きデータが出現し、ニューラルネットワークベースの推論モデルのような複雑なモデルのトレーニングが可能になった。 これらのモデルは実用上優れた性能を示し、現在の最先端の性能を実現している。 マシンは、このデータだけでセマンティックな関連性検出タスクを実行するのに必要な知識をすべて学べますか? そうでなければ、ニューラルネットワークベースのモデルが外部知識を自身に組み込むにはどうすればよいのか、また、外部知識を完全に活用するために、関連検出モデルを構築するにはどうすればよいのか? 本稿では,事前学習された意味的関連性判別モデルを強化するために,外部知識を用いる。 10の公開データセットに対する実験結果から,本手法はベースラインモデルと比較して一貫した性能向上を実現していることがわかった。

関連論文リスト

• Learning Latent Hardening (LLH): Enhancing Deep Learning with Domain Knowledge for Material Inverse Problems [0.0]
  本研究では, 材料ミクロ組織の機械的挙動に関するドメイン固有知識の導入について検討した。 データ制限を克服するため、2段階のフレームワークであるLearning Latent Hardening (LLH)が提案されている。 ドメイン固有の情報を持つモデルの結果は、事前知識のないモデルと比較してR2$の値が常に高い値を得た。
  論文  参考訳（メタデータ） (2025-01-17T03:09:25Z)
• The Extrapolation Power of Implicit Models [2.3526338188342653]
  暗黙のモデルは、アウト・オブ・ディストリビューション、地理的、時間的シフトといった様々な外挿シナリオでテストに投入される。 我々の実験は暗黙のモデルで常に大きな性能上の優位性を証明している。
  論文  参考訳（メタデータ） (2024-07-19T16:01:37Z)
• Machine Learning vs Deep Learning: The Generalization Problem [0.0]
  本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。 本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。 その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T21:42:55Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。