論文の概要: The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.13669v3
• Date: Thu, 13 Jun 2024 03:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-15 02:38:50.626447
• Title: The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models
• Title（参考訳）: 知識アライメント問題:大規模言語モデルのための人間と外的知識のブリッジ
• Authors: Shuo Zhang, Liangming Pan, Junzhou Zhao, William Yang Wang,
• Abstract要約: MixAlignは、ユーザと知識ベースの両方と対話して、ユーザの質問が格納された情報とどのように関連しているかを把握し、統合するフレームワークである。 実験結果から、モデル性能の向上と幻覚の緩和における知識アライメントの重要性が強調され、それぞれ22.2%と27.1%の改善が指摘された。
• 参考スコア（独自算出の注目度）: 65.80573571314534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often necessitate grounding on external knowledge to generate faithful and reliable answers. Yet even with the correct groundings in the reference, they can ignore them and rely on wrong groundings or their inherent biases to hallucinate when users, being largely unaware of the specifics of the stored information, pose questions that might not directly correlate with the retrieved groundings. In this work, we formulate this knowledge alignment problem and introduce MixAlign, a framework that interacts with both the human user and the knowledge base to obtain and integrate clarifications on how the user question relates to the stored information. MixAlign employs a language model to achieve automatic knowledge alignment and, if necessary, further enhances this alignment through human user clarifications. Experimental results highlight the crucial role of knowledge alignment in boosting model performance and mitigating hallucination, with improvements noted up to 22.2% and 27.1% respectively. We also demonstrate the effectiveness of MixAlign in improving knowledge alignment by producing high-quality, user-centered clarifications.
• Abstract（参考訳）: 大規模な言語モデルは、信頼できる答えを生成するために、しばしば外部知識の基盤を必要とする。 しかし、基準に正しい根拠があるとしても、彼らはそれらを無視し、間違った根拠やその固有のバイアスに頼って、ユーザーが記憶されている情報の詳細をほとんど知らないときに幻覚を起こさせる。 本研究では,この知識アライメント問題を定式化し,ユーザと知識ベースの両方と相互作用するフレームワークであるMixAlignを導入する。 MixAlignは、自動的な知識アライメントを達成するために言語モデルを使用し、必要に応じて、人間のユーザによる明確化を通じて、このアライメントをさらに強化する。 実験結果から、モデル性能の向上と幻覚の緩和における知識アライメントの重要性が強調され、それぞれ22.2%と27.1%の改善が指摘された。 また,MixAlignが高品質でユーザ中心の明確化を実現することにより,知識アライメントの向上に有効であることを示す。

関連論文リスト

• Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs [11.860265967829884]
  大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 本稿では,パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて,知識処理を解析するための枠組みを提案する。 知識処理シナリオに基づいて構築されたデータによるトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。
  論文  参考訳（メタデータ） (2025-02-19T11:49:23Z)
• Mitigating Knowledge Conflicts in Language Model-Driven Question Answering [15.29366851382021]
  2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T07:33:10Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation [33.806361531386685]
  1)マスキングされた単語を解釈し,その文脈からマスキングされたエンティティの意味を推測する,2)コンテキストに基づいてエンティティのハイパーネムを予測する,ハイパーネム生成という2つの補助的訓練目標を導入する。 2つの対話コーパスの実験結果から,本手法の有効性を,利用可能な知識と利用できない設定の両方で検証した。
  論文  参考訳（メタデータ） (2021-09-12T11:13:19Z)
• Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection [1.1633929083694388]
  Knoformerは強化学習に基づく対話応答生成モデルである。 知識プールから1つ以上の関連する知識を自動的に選択することができ、トレーニング中に知識ラベルを必要としない。
  論文  参考訳（メタデータ） (2021-08-31T08:53:08Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。