論文の概要: ReFactX: Scalable Reasoning with Reliable Facts via Constrained Generation

• arxiv url: http://arxiv.org/abs/2508.16983v1
• Date: Sat, 23 Aug 2025 10:21:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.281066
• Title: ReFactX: Scalable Reasoning with Reliable Facts via Constrained Generation
• Title（参考訳）: ReFactX: 制約付き生成による信頼性のあるファクトによるスケーラブルな推論
• Authors: Riccardo Pozzi, Matteo Palmonari, Andrea Coletta, Luigi Bellomarini, Jens Lehmann, Sahar Vahdati,
• Abstract要約: 本稿では,検索者や補助モデルに依存することなく,大規模言語モデルが外部知識にアクセスできるようにするスケーラブルな手法を提案する。 提案手法はプレビルドプレフィックスツリーインデックスを用いた制約付き生成を用いる。 質問応答に関する提案を評価した結果,大規模知識ベース(事実8億件)にスケールし,ドメイン固有のデータに適応し,効果的な結果が得られた。
• 参考スコア（独自算出の注目度）: 8.331415420334361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge gaps and hallucinations are persistent challenges for Large Language Models (LLMs), which generate unreliable responses when lacking the necessary information to fulfill user instructions. Existing approaches, such as Retrieval-Augmented Generation (RAG) and tool use, aim to address these issues by incorporating external knowledge. Yet, they rely on additional models or services, resulting in complex pipelines, potential error propagation, and often requiring the model to process a large number of tokens. In this paper, we present a scalable method that enables LLMs to access external knowledge without depending on retrievers or auxiliary models. Our approach uses constrained generation with a pre-built prefix-tree index. Triples from a Knowledge Graph are verbalized in textual facts, tokenized, and indexed in a prefix tree for efficient access. During inference, to acquire external knowledge, the LLM generates facts with constrained generation which allows only sequences of tokens that form an existing fact. We evaluate our proposal on Question Answering and show that it scales to large knowledge bases (800 million facts), adapts to domain-specific data, and achieves effective results. These gains come with minimal generation-time overhead. ReFactX code is available at https://github.com/rpo19/ReFactX.
• Abstract（参考訳）: 知識ギャップと幻覚はLarge Language Models (LLM) にとって永続的な課題であり、ユーザ命令を満たすために必要な情報がない場合に、信頼できない応答を生成する。 Retrieval-Augmented Generation (RAG) やツールの使用のような既存のアプローチは、外部知識を取り入れることでこれらの問題を解決することを目指している。 しかし、それらは追加のモデルやサービスに依存しており、複雑なパイプライン、潜在的なエラーの伝搬、そして多くの場合、大量のトークンを処理するためにモデルを必要とする。 本稿では,レトリバーや補助モデルに依存することなく,LLMが外部知識にアクセスできるスケーラブルな手法を提案する。 提案手法はプレビルドプレフィックスツリーインデックスを用いた制約付き生成を用いる。 知識グラフからのトリプルは、テキストの事実で動詞化され、トークン化され、プレフィックスツリーにインデックス化され、効率的なアクセスが可能である。 推論中、外部知識を取得するために、LLMは制約付き生成を持つ事実を生成し、既存の事実を形成するトークンのシーケンスのみを許容する。 質問応答に関する提案を評価した結果,大規模知識ベース(事実8億件)にスケールし,ドメイン固有のデータに適応し,効果的な結果が得られた。 これらのゲインには、世代毎のオーバーヘッドが最小限に抑えられる。 ReFactXコードはhttps://github.com/rpo19/ReFactXで入手できる。

関連論文リスト

• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• GenKI: Enhancing Open-Domain Question Answering with Knowledge Integration and Controllable Generation in Large Language Models [75.25348392263676]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の機能強化を目的としている。 生成に使用する前に検索したチャンクを洗練するために設計された,コンパクトで効率的な,プラグ可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2025-02-18T16:38:39Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Dynamic Retrieval-Augmented Generation [4.741884506444161]
  動的検索・拡張生成(DRAG)のための新しい手法を提案する。 DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。 提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。