論文の概要: From Hallucinations to Facts: Enhancing Language Models with Curated Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2412.18672v1
• Date: Tue, 24 Dec 2024 20:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:29:05.285962
• Title: From Hallucinations to Facts: Enhancing Language Models with Curated Knowledge Graphs
• Title（参考訳）: 幻覚からファクトへ:知識グラフによる言語モデルの強化
• Authors: Ratnesh Kumar Joshi, Sagnik Sengupta, Asif Ekbal,
• Abstract要約: 本稿では,知識グラフ(KG)を3重化して,経験的データの応答をアンカーすることで,言語モデル幻覚に対処する。 言語学的に流動的な応答を生成し、事実の正確さと文脈的関連性に深く根ざすことを目的としている。
• 参考スコア（独自算出の注目度）: 20.438680406650967
• License:
• Abstract: Hallucination, a persistent challenge plaguing language models, undermines their efficacy and trustworthiness in various natural language processing endeavors by generating responses that deviate from factual accuracy or coherence. This paper addresses language model hallucination by integrating curated knowledge graph (KG) triples to anchor responses in empirical data. We meticulously select and integrate relevant KG triples tailored to specific contexts, enhancing factual grounding and alignment with input. Our contribution involves constructing a comprehensive KG repository from Wikipedia and refining data to spotlight essential information for model training. By imbuing language models with access to this curated knowledge, we aim to generate both linguistically fluent responses and deeply rooted in factual accuracy and context relevance. This integration mitigates hallucinations by providing a robust foundation of information, enabling models to draw upon a rich reservoir of factual data during response generation. Experimental evaluations demonstrate the effectiveness of multiple approaches in reducing hallucinatory responses, underscoring the role of curated knowledge graphs in improving the reliability and trustworthiness of language model outputs.
• Abstract（参考訳）: 言語モデルに対する永続的な挑戦である幻覚は、事実の正確性や一貫性から逸脱した応答を生成することによって、様々な自然言語処理における有効性と信頼性を損なう。 本稿では,知識グラフ(KG)を3重化して,経験的データの応答をアンカーすることで,言語モデル幻覚に対処する。 我々は、特定の文脈に合わせた関連するKGトリプルを慎重に選択し、統合し、実際の接地と入力との整合性を高める。 我々の貢献は、ウィキペディアから包括的なKGリポジトリを構築し、モデルをトレーニングするための重要な情報をスポットライトにするためにデータを精査することである。 言語モデルにこの知識を付与することで,言語学的に流動的な応答と,事実の正確性や文脈的関連性に深く根ざした応答を生成することを目指す。 この統合は、堅牢な情報基盤を提供することで幻覚を緩和し、応答生成中にモデルが実データの豊富な貯水池に描画できるようにする。 実験により, 言語モデル出力の信頼性と信頼性向上において, 学習知識グラフが果たす役割を強調し, 幻覚応答の低減に複数のアプローチが有効であることを示す。

関連論文リスト

• Maintaining Informative Coherence: Migrating Hallucinations in Large Language Models via Absorbing Markov Chains [6.920249042435973]
  大規模言語モデル(LLM)は、テキスト生成、翻訳、要約のための強力なツールである。 LLMは、文脈情報の忠実さとコヒーレンスを維持するのに失敗する幻覚症状に悩まされることが多い。 本稿では,マルコフ連鎖を吸収し,文脈情報の重要性を定量化する新しい復号手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T04:51:18Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Capturing Pertinent Symbolic Features for Enhanced Content-Based Misinformation Detection [0.0]
  誤解を招く内容の検出は、言語的・ドメイン的多様性の極端さから、大きなハードルとなる。 本稿では,この現象を特徴付ける言語特性と,最も一般的な誤情報データセットの表現方法について分析する。 ニューラルネットワークモデルと組み合わせた関連する記号的知識の適切な利用は、誤解を招くコンテンツを検出するのに有効であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T16:42:34Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
  本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。 本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-01T07:48:03Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。