論文の概要: Graph-based Retrieval Augmented Generation for Dynamic Few-shot Text Classification

• arxiv url: http://arxiv.org/abs/2501.02844v1
• Date: Mon, 06 Jan 2025 08:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:40.340445
• Title: Graph-based Retrieval Augmented Generation for Dynamic Few-shot Text Classification
• Title（参考訳）: 動的Few-shotテキスト分類のためのグラフベース検索拡張生成
• Authors: Yubo Wang, Haoyang Li, Fei Teng, Lei Chen,
• Abstract要約: 本稿では,動的少ショットテキスト分類のためのグラフベースのオンライン検索拡張生成フレームワークであるGORAGを提案する。 GORAGは、すべてのターゲットテキストの側情報を抽出し、適応情報グラフを構築し、維持する。 実証的な評価は、GORAGがより包括的で正確な文脈情報を提供することで、既存のアプローチよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 15.0627807767152
• License:
• Abstract: Text classification is a fundamental task in natural language processing, pivotal to various applications such as query optimization, data integration, and schema matching. While neural network-based models, such as CNN and BERT, have demonstrated remarkable performance in text classification, their effectiveness heavily relies on abundant labeled training data. This dependency makes these models less effective in dynamic few-shot text classification, where labeled data is scarce, and target labels frequently evolve based on application needs. Recently, large language models (LLMs) have shown promise due to their extensive pretraining and contextual understanding. Current approaches provide LLMs with text inputs, candidate labels, and additional side information (e.g., descriptions) to predict text labels. However, their effectiveness is hindered by the increased input size and the noise introduced through side information processing. To address these limitations, we propose a graph-based online retrieval-augmented generation framework, namely GORAG, for dynamic few-shot text classification. GORAG constructs and maintains an adaptive information graph by extracting side information across all target texts, rather than treating each input independently. It employs a weighted edge mechanism to prioritize the importance and reliability of extracted information and dynamically retrieves relevant context using a minimum-cost spanning tree tailored for each text input. Empirical evaluations demonstrate that GORAG outperforms existing approaches by providing more comprehensive and accurate contextual information.
• Abstract（参考訳）: テキスト分類は自然言語処理における基本的なタスクであり、クエリ最適化、データ統合、スキーママッチングといった様々なアプリケーションに重要な役割を担っている。 CNNやBERTのようなニューラルネットワークベースのモデルは、テキスト分類において顕著なパフォーマンスを示しているが、その効果は豊富なラベル付きトレーニングデータに大きく依存している。 この依存関係により、ラベル付きデータが不足し、アプリケーションのニーズに応じてターゲットラベルが頻繁に進化する、動的な数ショットテキスト分類において、これらのモデルがより効果的になる。 近年,大規模言語モデル (LLM) は,事前学習や文脈理解が広範に行われているため,将来性を示している。 現在のアプローチでは、テキスト入力、候補ラベル、テキストラベルを予測するための追加のサイド情報(例:記述)がLLMに提供される。 しかし、その効果は、入力サイズが増大し、サイド情報処理によって導入されたノイズによって妨げられる。 これらの制約に対処するために,グラフベースのオンライン検索拡張生成フレームワークであるGORAGを提案する。 GORAGは、各入力を独立して扱うのではなく、すべてのターゲットテキストの側情報を抽出することで、適応情報グラフを構築し、維持する。 重み付けされたエッジ機構を用いて抽出された情報の重要性と信頼性を優先順位付けし、テキスト入力毎に調整された最小コストのスパンニングツリーを使用して、関連するコンテキストを動的に検索する。 実証的な評価は、GORAGがより包括的で正確な文脈情報を提供することで、既存のアプローチよりも優れていることを示している。

関連論文リスト

• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• Hierarchical Knowledge Distillation on Text Graph for Data-limited Attribute Inference [5.618638372635474]
  我々は,ソーシャルメディアのテキストデータに基づく属性推論のためのテキストグラフに基づく少ショット学習モデルを開発した。 我々のモデルはまず、多様体学習とメッセージパッシングを用いてテキストグラフを構築し、洗練する。 クロスドメインテキストと未ラベルテキストをさらに活用して、少数ショットのパフォーマンスを向上させるために、テキストグラフ上で階層的な知識蒸留が考案される。
  論文  参考訳（メタデータ） (2024-01-10T05:50:34Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。