論文の概要: Awakening Augmented Generation: Learning to Awaken Internal Knowledge of Large Language Models for Question Answering

• arxiv url: http://arxiv.org/abs/2403.15268v5
• Date: Sat, 14 Dec 2024 05:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:51:27.494328
• Title: Awakening Augmented Generation: Learning to Awaken Internal Knowledge of Large Language Models for Question Answering
• Title（参考訳）: 強化世代を覚醒させる:質問応答のための大規模言語モデルの内部知識の覚醒
• Authors: Huanxuan Liao, Shizhu He, Yao Xu, Yuanzhe Zhang, Kang Liu, Shengping Liu, Jun Zhao,
• Abstract要約: 新しい知識強化フレームワークである$textbfAwakening-Augmented-Generation$(AAG)が提案されている。 コンテキストジェネレータを微調整して、シンボリックコンテキストとして機能する合成圧縮ドキュメントを作成する。 暗黙の覚醒はハイパーネットワークを用いて質問と合成文書に基づいてアダプタを生成し、それを大規模言語モデルに挿入する。
• 参考スコア（独自算出の注目度）: 30.409828862670764
• License:
• Abstract: Retrieval-Augmented-Generation and Generation-Augmented-Generation have been proposed to enhance the knowledge required for question answering with Large Language Models (LLMs) by leveraging richer context. However, the former relies on external resources, and both require incorporating explicit documents into the context, which increases execution costs and susceptibility to noise data during inference. Recent works indicate that LLMs model rich knowledge, but it is often not effectively activated and awakened. Inspired by this, we propose a novel knowledge-augmented framework, $\textbf{Awakening-Augmented-Generation}$ (AAG), which mimics the human ability to answer questions using only thinking and recalling to compensate for knowledge gaps, thereby awaking relevant knowledge in LLMs without relying on external resources. AAG consists of two key components for awakening richer context. Explicit awakening fine-tunes a context generator to create a synthetic, compressed document that functions as symbolic context. Implicit awakening utilizes a hypernetwork to generate adapters based on the question and synthetic document, which are inserted into LLMs to serve as parameter context. Experimental results on three datasets demonstrate that AAG exhibits significant advantages in both open-domain and closed-book settings, as well as in out-of-distribution generalization. Our code will be available at \url{https://github.com/Xnhyacinth/IAG}.
• Abstract（参考訳）: よりリッチな文脈を活用することで,Large Language Models (LLMs) を用いた質問応答に必要な知識を向上させるために,検索・拡張・生成・生成・生成を提案する。 しかし、前者は外部リソースに依存しており、どちらも明示的な文書をコンテキストに組み込む必要がある。 最近の研究は、LLMが豊富な知識をモデル化していることを示しているが、しばしば効果的に活性化され、覚醒されることはない。 そこで我々は,知識ギャップを補うために思考とリコールだけで質問に答える人間の能力を模倣し,外部リソースに頼ることなく,LLMにおける関連する知識を覚醒させる,新たな知識強化フレームワークである$\textbf{Awakening-Augmented-Generation}$ (AAG)を提案する。 AAGは、よりリッチなコンテキストを覚ますための2つの重要なコンポーネントで構成されています。 コンテキストジェネレータを微調整して、シンボリックコンテキストとして機能する合成圧縮ドキュメントを作成する。 暗黙の覚醒はハイパーネットワークを用いて質問と合成文書に基づいてアダプタを生成し、LLMに挿入してパラメータコンテキストとして機能させる。 3つのデータセットの実験結果から、AAGは、オープンドメインとクローズドブックの両方の設定において、また、アウト・オブ・ディストリビューションの一般化において、大きなアドバンテージを示すことが示された。 私たちのコードは \url{https://github.com/Xnhyacinth/IAG} で利用可能です。

関連論文リスト

• Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
  大規模言語モデル(LLM)は、パラメトリックな知識が限られ、ドメイン固有の専門知識が欠如しているため、幻覚に弱いままである。 Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。 発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。
  論文  参考訳（メタデータ） (2025-02-18T16:38:39Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• Contextual Knowledge Pursuit for Faithful Visual Synthesis [33.191847768674826]
  大きな言語モデル(LLM)では、幻覚を減らすための一般的な戦略は、外部データベースから事実知識を取得することである。 本稿では,外部知識とパラメトリック知識の相補的強みを利用して,生成元が信頼できる視覚コンテンツを生成できるようにするフレームワークであるコンパラメトリック知識探索法(CKPT)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T18:51:46Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Active Retrieval Augmented Generation [123.68874416084499]
  外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:13:40Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。