論文の概要: Mitigating Language Model Hallucination with Interactive Question-Knowledge Alignment

• arxiv url: http://arxiv.org/abs/2305.13669v1
• Date: Tue, 23 May 2023 04:22:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:02:52.625672
• Title: Mitigating Language Model Hallucination with Interactive Question-Knowledge Alignment
• Title（参考訳）: 対話型質問知識アライメントによる言語モデル幻覚の緩和
• Authors: Shuo Zhang, Liangming Pan, Junzhou Zhao, William Yang Wang
• Abstract要約: MixAlignは、ユーザと知識ベースの両方と対話して、ユーザの質問が格納された情報とどのように関連しているかを明確にするためのフレームワークである。 実験結果から,最先端手法よりも顕著な改善が得られた。
• 参考スコア（独自算出の注目度）: 86.22320046743155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable recent advances in language models, they still struggle with the hallucination problem and can generate misleading and unsupported responses. A common approach to mitigate the hallucination issue is retrieving and incorporating supporting evidence from a knowledge base. However, user questions usually do not align well with the stored knowledge, as they are unaware of the information available before asking questions. This misalignment can limit the language model's ability to locate and utilize the knowledge, potentially forcing it to hallucinate by ignoring or overriding the retrieved evidence. To address this issue, we introduce MixAlign, a framework that interacts with both the user and the knowledge base to obtain and integrate clarifications on how the user question relates to the stored information. MixAlign employs a language model to achieve automatic question-knowledge alignment and, if necessary, further enhances this alignment through human user clarifications. Experimental results demonstrate significant improvements over state-of-the-art methods, showcasing the effectiveness of MixAlign in mitigating language model hallucination.
• Abstract（参考訳）: 言語モデルの目覚ましい進歩にもかかわらず、幻覚の問題に苦しめられ、誤解を招くことやサポートされない反応を生み出すことができる。 幻覚の問題を緩和するための一般的なアプローチは、知識ベースから支持する証拠を検索し、取り入れることである。 しかし,ユーザの質問は通常,質問する前に利用可能な情報を知らないため,記憶されている知識とうまく一致しない。 このミスアライメントは、言語モデルの知識の発見と活用を制限し、検索された証拠を無視したり覆ったりすることで幻覚を強いる可能性がある。 この問題に対処するために,ユーザと知識ベースの両方と相互作用するフレームワークであるMixAlignを導入する。 MixAlignは言語モデルを用いて自動質問知識アライメントを実現し、必要に応じて、人間のユーザによる明確化を通じて、このアライメントをさらに強化する。 実験結果から,MixAlignによる言語モデル幻覚の緩和効果が示された。

関連論文リスト

• Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs [11.860265967829884]
  大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 本稿では,パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて,知識処理を解析するための枠組みを提案する。 知識処理シナリオに基づいて構築されたデータによるトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。
  論文  参考訳（メタデータ） (2025-02-19T11:49:23Z)
• Mitigating Knowledge Conflicts in Language Model-Driven Question Answering [15.29366851382021]
  2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T07:33:10Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation [33.806361531386685]
  1)マスキングされた単語を解釈し,その文脈からマスキングされたエンティティの意味を推測する,2)コンテキストに基づいてエンティティのハイパーネムを予測する,ハイパーネム生成という2つの補助的訓練目標を導入する。 2つの対話コーパスの実験結果から,本手法の有効性を,利用可能な知識と利用できない設定の両方で検証した。
  論文  参考訳（メタデータ） (2021-09-12T11:13:19Z)
• Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection [1.1633929083694388]
  Knoformerは強化学習に基づく対話応答生成モデルである。 知識プールから1つ以上の関連する知識を自動的に選択することができ、トレーニング中に知識ラベルを必要としない。
  論文  参考訳（メタデータ） (2021-08-31T08:53:08Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。