論文の概要: STACKFEED: Structured Textual Actor-Critic Knowledge Base Editing with FeedBack

• arxiv url: http://arxiv.org/abs/2410.10584v1
• Date: Mon, 14 Oct 2024 14:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 20:45:18.305432
• Title: STACKFEED: Structured Textual Actor-Critic Knowledge Base Editing with FeedBack
• Title（参考訳）: STACKFEED:FeedBackによる構造化テキストアクター批判的知識ベース編集
• Authors: Naman Gupta, Shashank Kirtania, Priyanshu Gupta, Krishna Kariya, Sumit Gulwani, Arun Iyer, Suresh Parthasarathy, Arjun Radhakrishna, Sriram K. Rajamani, Gustavo Soares,
• Abstract要約: 本稿では, FEEDback を用いた構造化テキストアクタ・クリティカルな知識ベース編集手法である FEED を紹介する。 FEEDは、多要素集中型批判強化学習フレームワークを用いて、専門家のフィードバックに基づいてKBを反復的に洗練する。 実験の結果,FEEDは品質とRAGシステム性能を著しく向上し,ベースラインよりも最大8%精度が向上した。
• 参考スコア（独自算出の注目度）: 9.82445545347097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often generate incorrect or outdated information, especially in low-resource settings or when dealing with private data. To address this, Retrieval-Augmented Generation (RAG) uses external knowledge bases (KBs), but these can also suffer from inaccuracies. We introduce STACKFEED, a novel Structured Textual Actor-Critic Knowledge base editing with FEEDback approach that iteratively refines the KB based on expert feedback using a multi-actor, centralized critic reinforcement learning framework. Each document is assigned to an actor, modeled as a ReACT agent, which performs structured edits based on document-specific targeted instructions from a centralized critic. Experimental results show that STACKFEED significantly improves KB quality and RAG system performance, enhancing accuracy by up to 8% over baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に低リソース設定やプライベートデータを扱う場合、誤った情報や時代遅れの情報を生成することが多い。 これを解決するために、Retrieval-Augmented Generation (RAG)は外部知識ベース(KB)を使用しているが、これらは不正確である。 STACKFEED(Structured Textual Actor-Critic Knowledge Base Editor with FEEDback approach)を紹介する。 各文書はアクターに割り当てられ、ReACTエージェントとしてモデル化され、中央集権的な批評家からの文書固有のターゲット命令に基づいて構造化された編集を行う。 実験の結果,STACKFEEDはKB品質とRAGシステム性能を向上し,ベースラインよりも最大8%精度が向上した。

関連論文リスト

• Keys to Robust Edits: from Theoretical Insights to Practical Advances [20.10464264597003]
  大規模言語モデル(LLM)は知識の記憶と検索に革命をもたらしたが、矛盾や時代遅れな情報に対する課題に直面している。 本研究は、位置・エディット法における故障の原因を調査し、それらのキー・バリュー・モデリングに関する理論的知見を提供する。 経験的分析により、現在のメソッドで使われるキーは堅牢性と特異性要件を満たすことができないことが明らかになった。
  論文  参考訳（メタデータ） (2024-10-12T02:54:12Z)
• Retrieving, Rethinking and Revising: The Chain-of-Verification Can Improve Retrieval Augmented Generation [38.80878966092216]
  大規模言語モデル(LLM)の強化を目的とした最近の検索拡張生成(RAG) 本稿では,外部検索の正しさと内部生成の整合性を高めるためのチェーン・オブ・バリフィケーション(CoV-RAG)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:34:54Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  現実世界の知識の大部分は、構造化されていない形式で保存される。 ローカル層キーバリューストレージや項駆動最適化のような技術は、構造化されていない知識を扱うのに有効ではない。 本研究では,非構造化知識編集手法,すなわちUnKEを提案する。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA [28.642711264323786]
  テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。 事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
  論文  参考訳（メタデータ） (2023-08-28T09:22:02Z)
• Mapping and Cleaning Open Commonsense Knowledge Bases with Generative Translation [14.678465723838599]
  特にオープン情報抽出(OpenIE)は、テキストから構造を誘導するためにしばしば用いられる。 OpenIEには、オープンエンドで非標準化された関係が含まれており、抽出された知識の下流での搾取を困難にしている。 本稿では,言語モデルを訓練し,オープンな言語から固定的なアサーションを生成することによって,生成的翻訳による問題にアプローチすることを提案する。
  論文  参考訳（メタデータ） (2023-06-22T09:42:54Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。