論文の概要: Augmenting Textual Generation via Topology Aware Retrieval

• arxiv url: http://arxiv.org/abs/2405.17602v1
• Date: Mon, 27 May 2024 19:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 23:33:20.999487
• Title: Augmenting Textual Generation via Topology Aware Retrieval
• Title（参考訳）: トポロジアウェア検索によるテキスト生成の強化
• Authors: Yu Wang, Nedim Lipka, Ruiyi Zhang, Alexa Siu, Yuying Zhao, Bo Ni, Xin Wang, Ryan Rossi, Tyler Derr,
• Abstract要約: トポロジを意識した検索型検索生成フレームワークを開発した。 このフレームワークは、トポロジ的関係に基づいてテキストを選択する検索モジュールを含む。 我々は,確立したテキスト配信ネットワークをキュレートし,本フレームワークの有効性を検証するための総合的な実験を行った。
• 参考スコア（独自算出の注目度）: 30.933176170660683
• License:
• Abstract: Despite the impressive advancements of Large Language Models (LLMs) in generating text, they are often limited by the knowledge contained in the input and prone to producing inaccurate or hallucinated content. To tackle these issues, Retrieval-augmented Generation (RAG) is employed as an effective strategy to enhance the available knowledge base and anchor the responses in reality by pulling additional texts from external databases. In real-world applications, texts are often linked through entities within a graph, such as citations in academic papers or comments in social networks. This paper exploits these topological relationships to guide the retrieval process in RAG. Specifically, we explore two kinds of topological connections: proximity-based, focusing on closely connected nodes, and role-based, which looks at nodes sharing similar subgraph structures. Our empirical research confirms their relevance to text relationships, leading us to develop a Topology-aware Retrieval-augmented Generation framework. This framework includes a retrieval module that selects texts based on their topological relationships and an aggregation module that integrates these texts into prompts to stimulate LLMs for text generation. We have curated established text-attributed networks and conducted comprehensive experiments to validate the effectiveness of this framework, demonstrating its potential to enhance RAG with topological awareness.
• Abstract（参考訳）: テキスト生成におけるLLM(Large Language Models)の顕著な進歩にもかかわらず、入力に含まれる知識や、不正確なコンテンツや幻覚コンテンツを生成する傾向によって制限されることが多い。 これらの問題に対処するために、検索拡張生成(RAG)は、利用可能な知識ベースを強化し、外部データベースから追加のテキストを抽出することで、実際の応答をアンロックする効果的な戦略として採用されている。 現実世界のアプリケーションでは、テキストは、学術論文の引用やソーシャルネットワークのコメントなど、グラフ内のエンティティを通してリンクされることが多い。 本稿では、これらのトポロジカルな関係を利用して、RAGにおける検索プロセスを導出する。 具体的には、近接ベース、密接な接続ノードに焦点を当てた2種類のトポロジ的接続と、類似したサブグラフ構造を共有するノードを探索するロールベースを探索する。 我々の実証研究は、テキスト関係との関連性を確認し、トポロジを意識した検索型生成フレームワークの開発に繋がる。 このフレームワークは、それらのトポロジ的関係に基づいてテキストを選択する検索モジュールと、これらのテキストをテキスト生成のためにLSMを刺激するプロンプトに統合する集約モジュールを含む。 我々は、確立されたテキスト配信ネットワークをキュレートし、このフレームワークの有効性を検証するための総合的な実験を行い、その可能性をトポロジカルな意識でRAGを強化する可能性を実証した。

関連論文リスト

• Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
  本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。 そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-30T20:48:34Z)
• Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval [49.42043077545341]
  知識グラフ(KG)から構造化文書関係を付加したLLMを拡張した知識対応クエリ拡張フレームワークを提案する。 文書テキストをリッチなKGノード表現として活用し、KAR(Knowledge-Aware Retrieval)のための文書ベースの関係フィルタリングを利用する。
  論文  参考訳（メタデータ） (2024-10-17T17:03:23Z)
• GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation [3.2027710059627545]
  検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。 GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。 我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
  論文  参考訳（メタデータ） (2024-09-23T21:42:47Z)
• Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
  RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。 我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
  論文  参考訳（メタデータ） (2024-05-28T20:54:47Z)
• Loops On Retrieval Augmented Generation (LoRAG) [0.0]
  Loops On Retrieval Augmented Generation (LoRAG)は、検索強化テキスト生成の品質を高めるために設計された新しいフレームワークである。 アーキテクチャは、生成モデル、検索機構、動的ループモジュールを統合する。 LoRAGはBLEUスコア、ROUGEスコア、パープレキシティの点で既存の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-03-18T15:19:17Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation [58.65698688443091]
  我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。 我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。 我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
  論文  参考訳（メタデータ） (2023-05-30T08:36:45Z)
• Knowledge-based Review Generation by Coherence Enhanced Text Planning [45.473253542837995]
  我々は,知識グラフ(KGs)に基づく新しいコヒーレンス拡張テキストプランニングモデル(CETP)を提案し,レビュー生成のためのグローバルおよびローカルのコヒーレンスを改善する。 グローバルコヒーレンスのために,サブグラフとノードレベルの双方に注意を払って,サブグラフ間の相関性を高める階層的自己意図アーキテクチャを設計する。 3つのデータセットの実験は、生成されたテキストのコンテンツコヒーレンスを改善するためのモデルの有効性を確認します。
  論文  参考訳（メタデータ） (2021-05-09T02:12:05Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。