論文の概要: How Well Do Large Language Models Truly Ground?

• arxiv url: http://arxiv.org/abs/2311.09069v1
• Date: Wed, 15 Nov 2023 16:11:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 15:19:31.507953
• Title: How Well Do Large Language Models Truly Ground?
• Title（参考訳）: 大規模な言語モデルが本当に優れているのか?
• Authors: Hyunji Lee, Sejune Joo, Chaeeun Kim, Joel Jang, Doyoung Kim, Kyoung-Woon On, Minjoon Seo
• Abstract要約: LLM(Large Language Models)の固有の知識への依存は幻覚などの問題を引き起こす可能性がある。 これを軽減するために、LLMをプローブして外部コンテキストに基づいて応答を生成する。
• 参考スコア（独自算出の注目度）: 41.36589507268335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliance on the inherent knowledge of Large Language Models (LLMs) can cause issues such as hallucinations, lack of control, and difficulties in integrating variable knowledge. To mitigate this, LLMs can be probed to generate responses by grounding on external context, often given as input (knowledge-augmented models). Yet, previous research is often confined to a narrow view of the term "grounding", often only focusing on whether the response contains the correct answer or not, which does not ensure the reliability of the entire response. To address this limitation, we introduce a strict definition of grounding: a model is considered truly grounded when its responses (1) fully utilize necessary knowledge from the provided context, and (2) don't exceed the knowledge within the contexts. We introduce a new dataset and a grounding metric to assess this new definition and perform experiments across 13 LLMs of different sizes and training methods to provide insights into the factors that influence grounding performance. Our findings contribute to a better understanding of how to improve grounding capabilities and suggest an area of improvement toward more reliable and controllable LLM applications.
• Abstract（参考訳）: 大規模言語モデル(llm)の固有知識への依存は、幻覚、制御の欠如、可変知識の統合の困難といった問題を引き起こす可能性がある。 これを軽減するために、llmは、しばしば入力として与えられる外部のコンテキストに基づいて、応答を生成するために調査することができる(知識モデル)。 しかし、以前の研究はしばしば「接地」という用語の狭い視野に限られており、応答が正しい答えを含むかどうかにのみ焦点を絞っているため、応答全体の信頼性が保証されない。 この制限に対処するために、我々は厳密なグラウンド化の定義を導入する: モデルはその応答(1)提供された文脈から必要な知識を十分に活用し、(2)コンテキスト内の知識を超えないときに真にグラウンド化されると考えられる。 我々は,この新しい定義を評価し,13 llmの異なるサイズで実験を行うための新しいデータセットと接地指標を導入し,接地性能に影響を与える要因に関する洞察を提供する。 本研究は,より信頼性が高く制御可能なLLMアプリケーションに向けた改良領域を提案するとともに,基礎機能の改善方法の理解に寄与する。

関連論文リスト

• Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
  検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T14:50:10Z)
• Grounding Gaps in Language Model Generations [67.79817087930678]
  大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。 人間に比べ、LLMは会話の基盤を減らした言語を生成する。 同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
  論文  参考訳（メタデータ） (2023-11-15T17:40:27Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
  グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。 事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。 本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
  論文  参考訳（メタデータ） (2022-03-18T19:18:54Z)
• LaMDA: Language Models for Dialog Applications [75.75051929981933]
  LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。 注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
  論文  参考訳（メタデータ） (2022-01-20T15:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。