論文の概要: KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations

• arxiv url: http://arxiv.org/abs/2504.04569v1
• Date: Sun, 06 Apr 2025 17:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:12:39.410045
• Title: KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations
• Title（参考訳）: KnowsLM:知識強化と人為的会話のための小言語モデルの評価フレームワーク
• Authors: Chitranshu Harbola, Anupam Purwar,
• Abstract要約: 本研究は,LoRAランク,データセットスケール,プレフィックスデザインが知識保持とスタイルアライメントに与える影響について検討する。 LLMに基づく判断は、知識の正確さ、会話の質、簡潔さを考慮し、微調整が音調適応に最も適していることを示し、RAGはリアルタイムの知識増強に優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In the evolving landscape of conversational AI, generating concise, context-aware, and human-like dialogue using small and medium-sized language models (LLMs) remains a complex challenge. This study investigates the influence of LoRA rank, dataset scale, and prompt prefix design on both knowledge retention and stylistic alignment. While fine-tuning improves fluency and enables stylistic customization, its ability to integrate unseen knowledge is constrained -- particularly with smaller datasets. Conversely, RAG-augmented models, equipped to incorporate external documents at inference, demonstrated superior factual accuracy on out-of-distribution prompts, though they lacked the stylistic consistency achieved by fine-tuning. Evaluations by LLM-based judges across knowledge accuracy, conversational quality, and conciseness suggest that fine-tuning is best suited for tone adaptation, whereas RAG excels at real-time knowledge augmentation.
• Abstract（参考訳）: 会話型AIの進化する状況において、中小言語モデル(LLM)を用いた簡潔、文脈認識、人間のような対話を生成することは、依然として複雑な課題である。 本研究は,LoRAランク,データセットスケール,プレフィックスデザインが,知識保持とスタイリスティックアライメントの両方に与える影響について検討する。 微調整によってレイテンシが向上し、スタイリスティックなカスタマイズが可能になる一方で、目に見えない知識を統合する能力は、特に小さなデータセットで制限されている。 逆に、外部文書を推論時に組み込むためのRAG拡張モデルは、微調整によって達成されるスタイル整合性に欠けるにもかかわらず、配布外のプロンプトに対してより優れた事実的精度を示した。 LLMに基づく判断は、知識の正確さ、会話の質、簡潔さを考慮し、微調整が音調適応に最も適していることを示し、RAGはリアルタイムの知識増強に優れていた。

関連論文リスト

• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• ERAGent: Enhancing Retrieval-Augmented Language Models with Improved Accuracy, Efficiency, and Personalization [14.62114319247837]
  ERAGentはRAG領域の進歩を具現化した最先端のフレームワークである。 Retrieval Triggerは、応答品質を犠牲にすることなく、外部知識検索を効率化するために組み込まれている。 ERAGentは学習したユーザプロファイルを組み込むことで応答をパーソナライズする。
  論文  参考訳（メタデータ） (2024-05-06T04:42:18Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。