論文の概要: A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation

• arxiv url: http://arxiv.org/abs/2402.01495v1
• Date: Fri, 2 Feb 2024 15:26:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:38:12.157020
• Title: A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation
• Title（参考訳）: 知識に基づくテキスト生成における対話型大言語モデルの比較分析
• Authors: Phillip Schneider, Manuel Klettner, Elena Simperl, Florian Matthes
• Abstract要約: 本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。 この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
• 参考スコア（独自算出の注目度）: 5.661396828160973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating natural language text from graph-structured data is essential for conversational information seeking. Semantic triples derived from knowledge graphs can serve as a valuable source for grounding responses from conversational agents by providing a factual basis for the information they communicate. This is especially relevant in the context of large language models, which offer great potential for conversational interaction but are prone to hallucinating, omitting, or producing conflicting information. In this study, we conduct an empirical analysis of conversational large language models in generating natural language text from semantic triples. We compare four large language models of varying sizes with different prompting techniques. Through a series of benchmark experiments on the WebNLG dataset, we analyze the models' performance and identify the most common issues in the generated predictions. Our findings show that the capabilities of large language models in triple verbalization can be significantly improved through few-shot prompting, post-processing, and efficient fine-tuning techniques, particularly for smaller models that exhibit lower zero-shot performance.
• Abstract（参考訳）: グラフ構造化データから自然言語テキストを生成することは会話情報検索に不可欠である。 知識グラフから派生したセマンティックトリプルは、会話エージェントからの応答を根拠として、それらが通信する情報の事実ベースを提供する。 これは大きな言語モデルにおいて特に意味があり、会話の相互作用に大きな可能性をもたらすが、幻覚、省略、矛盾する情報を生み出す傾向にある。 本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 異なる大きさの4つの大きな言語モデルと異なるプロンプト技術を比較した。 WebNLGデータセット上での一連のベンチマーク実験を通じて、モデルの性能を分析し、生成された予測における最も一般的な問題を特定する。 以上の結果から,特にゼロショット性能の低い小型モデルでは,数発のプロンプト,後処理,効率的な微調整技術により,三重言語モデルの能力は著しく向上できることがわかった。

関連論文リスト

• Instruction Data Generation and Unsupervised Adaptation for Speech Language Models [21.56355461403427]
  本稿では,多モーダル大規模言語モデルの訓練と評価を行うために,合成サンプルを生成する3つの方法を提案する。 このようなシステムの性能を高めるための重要な戦略として、合成データ生成が出現する。 我々は、未ラベルの音声データを用いて、利用可能な書き起こしに匹敵する品質の合成サンプルを生成する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-18T08:27:00Z)
• Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs [6.869834883252353]
  本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。 その結果,大規模言語モデルでは対話からグラフクエリを生成することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T12:28:33Z)
• Large Language Models as Zero-Shot Conversational Recommenders [52.57230221644014]
  ゼロショット設定における代表的大言語モデルを用いた会話推薦タスクに関する実証的研究を行った。 我々は、人気のあるディスカッションサイトをスクラップして、レコメンデーション関連の会話のデータセットを構築した。 我々は、微調整なしでも、大規模な言語モデルは既存の微調整された会話レコメンデーションモデルより優れていることを観察する。
  論文  参考訳（メタデータ） (2023-08-19T15:29:45Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• How much pretraining data do language models need to learn syntax? [12.668478784932878]
  トランスフォーマーに基づく事前訓練型言語モデルは、多くのよく知られたNLUベンチマークにおいて優れた結果を得る。 本稿では,RoBERTaを用いたモデル知識に対する事前学習データサイズの影響について検討する。
  論文  参考訳（メタデータ） (2021-09-07T15:51:39Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)
• Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
  自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。 本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。 対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
  論文  参考訳（メタデータ） (2020-12-30T18:18:47Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。