論文の概要: SynCPKL: Harnessing LLMs to Generate Synthetic Data for Commonsense Persona Knowledge Linking

• arxiv url: http://arxiv.org/abs/2407.15281v1
• Date: Sun, 21 Jul 2024 22:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:40:17.698925
• Title: SynCPKL: Harnessing LLMs to Generate Synthetic Data for Commonsense Persona Knowledge Linking
• Title（参考訳）: SynCPKL:コモンセンスペルソナ知識リンクのための合成データ生成のためのLLMのハーネス化
• Authors: Kuan-Yen Lin,
• Abstract要約: 本稿では,コモンセンスペルソナ知識リンク (CPKL) へのアプローチについて述べる。 本稿では,コモンセンスペルソナ知識リンカを学習するための高品質な合成データセットを生成するパイプラインであるSynCPKL Pipelineを紹介する。 本実験は,コモンセンスペルソナ知識リンカーの訓練におけるSynCPKLの有効性を検証した。 我々のトップパフォーマンスモデルであるDerberta-SynCPKLは、F1スコアの16%向上によってCPKLチャレンジで1位を獲得した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding rich dialogues often requires NLP systems to access relevant commonsense persona knowledge, but retrieving this knowledge is challenging due to complex contexts and the implicit nature of commonsense. This paper presents our approach to the Commonsense Persona Knowledge Linking (CPKL) challenge, addressing the critical need for integrating persona and commonsense knowledge in open-domain dialogue systems. We introduce SynCPKL Pipeline, a pipeline that leverages Large Language Models to generate high-quality synthetic datasets for training commonsense persona knowledge linkers. To demonstrate the efficacy of our approach, we present SynCPKL, a new dataset specifically designed for this task. Our experiments validate the effectiveness of SynCPKL for training commonsense persona knowledge linkers. Additionally, our top-performing model, Derberta-SynCPKL, secured first place in the CPKL challenge by a 16% improvement in F1 score. We released both SynCPKL and Derberta-SynCPKL at https://github.com/irislin1006/CPKL.
• Abstract（参考訳）: リッチな対話を理解するには、関連するコモンセンスのペルソナ知識にアクセスする必要があるが、複雑なコンテキストと暗黙的なコモンセンスの性質のために、この知識を取得することは困難である。 本稿では,オープンドメイン対話システムにおけるペルソナとコモンセンスの知識の統合を重要視する,CPKL(Commonsense Persona Knowledge Linking)へのアプローチを提案する。 我々は,Large Language Modelsを活用して,コモンセンスペルソナ知識リンカをトレーニングするための高品質な合成データセットを生成するパイプラインであるSynCPKL Pipelineを紹介する。 提案手法の有効性を示すために,本課題に特化して設計された新しいデータセットであるSynCPKLを提案する。 本実験は,コモンセンスペルソナ知識リンカーの訓練におけるSynCPKLの有効性を検証した。 さらに,トップパフォーマンスモデルであるDerberta-SynCPKLは,F1スコアの16%向上によってCPKLチャレンジの1位を確保した。 SynCPKLとDerberta-SynCPKLをhttps://github.com/irislin1006/CPKLでリリースしました。

関連論文リスト

• Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
  大規模テキストコーパスで事前訓練されたLarge Language Models (LLMs) は、推奨システムを強化するための有望な道を示す。 オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T04:00:30Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• Prompt-Time Symbolic Knowledge Capture with Large Language Models [0.0]
  ユーザ固有の知識で大きな言語モデル(LLM)を拡張することは、パーソナルAIアシスタントのような現実世界のアプリケーションにとって不可欠である。 本稿では,既存のLLM機能を活用して,迅速な知識獲得を実現する。
  論文  参考訳（メタデータ） (2024-02-01T08:15:28Z)
• PL-FSCIL: Harnessing the Power of Prompts for Few-Shot Class-Incremental Learning [9.247718160705512]
  FSCIL(Few-Shot Class-Incremental Learning)は、ディープニューラルネットワークが少数のラベル付きサンプルから段階的に新しいタスクを学習できるようにすることを目的としている。 FSCIL(PL-FSCIL)のためのPrompt Learningと呼ばれる新しいアプローチを提案する。 PL-FSCILは、FSCILの課題に効果的に取り組むために、事前訓練されたビジョントランスフォーマー(ViT)モデルと共にプロンプトのパワーを利用する。
  論文  参考訳（メタデータ） (2024-01-26T12:11:04Z)
• An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM [0.0]
  本研究では,Electra,GloVe,LSTMモデルの強みを組み合わせた質問分類のための革新的なアンサンブル手法を提案する。 このモデルは、よく認識されたTRECデータセットで厳密にテストされ、これらの異なる技術の統合がより優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-13T18:14:10Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Synthcity: facilitating innovative use cases of synthetic data in different data modalities [86.52703093858631]
  Synthcityは、MLフェアネス、プライバシ、拡張における合成データの革新的なユースケースのための、オープンソースのソフトウェアパッケージである。 Synthcityは、実践者に対して、合成データにおける最先端の研究とツールへの単一のアクセスポイントを提供する。
  論文  参考訳（メタデータ） (2023-01-18T14:49:54Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• ComFact: A Benchmark for Linking Contextual Commonsense Knowledge [31.19689856957576]
  そこで我々は,KGから状況に関連のあるコモンセンス知識を特定するために,モデルにコンテキストを付与し,訓練を行う,コモンセンス事実リンクの新しい課題を提案する。 われわれの新しいベンチマークであるComFactは、4つのスタイリスティックな多様なデータセットにまたがるコモンセンスのための293kのインコンテキスト関連アノテーションを含んでいる。
  論文  参考訳（メタデータ） (2022-10-23T09:30:39Z)
• Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
  自然言語における常識推論は、人工知能システムの望ましい能力である。 複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。 有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
  論文  参考訳（メタデータ） (2022-05-04T01:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。