論文の概要: Contrastive Learning for Knowledge-Based Question Generation in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.13994v1
• Date: Thu, 26 Sep 2024 22:24:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:17:38.586935
• Title: Contrastive Learning for Knowledge-Based Question Generation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識に基づく質問生成のためのコントラスト学習
• Authors: Zhenhong Zhang, Jiajing Chen, Weiyan Shi, Lingjie Yi, Chihang Wang, Qian Yu,
• Abstract要約: 本稿では,知識に基づく質問生成技術について述べる。 コンピュータが、特定のテキストや知識ベースを理解することによって、人間の質問プロセスをシミュレートできるようにすることを目的としている。
• 参考スコア（独自算出の注目度）: 14.661813272713916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of artificial intelligence technology, especially the increasingly widespread application of question-and-answer systems, high-quality question generation has become a key component in supporting the development of these systems. This article focuses on knowledge-based question generation technology, which aims to enable computers to simulate the human questioning process based on understanding specific texts or knowledge bases. In light of the issues of hallucination and knowledge gaps present in large-scale language models when applied to knowledge-intensive tasks, this paper proposes an enhanced question generation method that incorporates contrastive learning. This method utilizes multiple models to jointly mine domain knowledge and uses contrastive learning to guide the model in reducing noise and hallucinations in generation. Experimental results show that by designing prompts containing contrasting examples, the model's performance in question generation improves considerably, particularly when contrasting instructions and examples are used simultaneously, leading to the highest quality of generated questions and improved accuracy. These results demonstrate that the method proposed in this study, which combines contrasting context and chain-of-thought prompts, can effectively improve both the quality and the practicality of question generation.
• Abstract（参考訳）: 人工知能技術の急速な発展、特に質問・回答システムの普及により、高品質な質問生成は、これらのシステムの開発を支援する重要な要素となっている。 本稿では、コンピュータが特定のテキストや知識ベースを理解することに基づいて、人間の質問プロセスをシミュレートすることを目的とした、知識に基づく質問生成技術に焦点を当てる。 知識集約型タスクに適用した場合の大規模言語モデルにおける幻覚と知識ギャップの問題を踏まえ,コントラスト学習を取り入れた質問生成手法を提案する。 本手法は、複数のモデルを用いてドメイン知識を共同でマイニングし、コントラスト学習を用いて、生成時のノイズや幻覚を低減させる。 実験結果から, 比較例を含むプロンプトを設計することにより, 特にコントラスト命令と例を同時に使用する場合, モデルの性能が大幅に向上し, 生成した質問の質が向上し, 精度が向上することがわかった。 これらの結果は,コントラストの文脈とチェーン・オブ・シークレットのプロンプトを組み合わせることで,質問生成の質と実用性の両方を効果的に改善できることを示す。

関連論文リスト

• Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
  本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。 我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
  論文  参考訳（メタデータ） (2024-09-12T21:39:01Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Towards information-rich, logical text generation with knowledge-enhanced neural models [15.931791215286879]
  テキスト生成システムは、ディープラーニング技術によって多大な進歩を遂げ、私たちの生活に広く応用されてきた。 既存のエンドツーエンドのニューラルモデルは、入力コンテキストを背景知識で理解できないため、非形式的で汎用的なテキストを生成する傾向があるという問題に悩まされる。 本調査では,知識に富んだテキスト生成システムの総合的なレビューを行い,これらの課題の解決に向けた研究の進展を要約し,オープンな課題と研究の方向性を提案する。
  論文  参考訳（メタデータ） (2020-03-02T12:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。