論文の概要: Graph-based Retrieval Augmented Generation for Dynamic Few-shot Text Classification

• arxiv url: http://arxiv.org/abs/2501.02844v1
• Date: Mon, 06 Jan 2025 08:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:40.340445
• Title: Graph-based Retrieval Augmented Generation for Dynamic Few-shot Text Classification
• Title（参考訳）: 動的Few-shotテキスト分類のためのグラフベース検索拡張生成
• Authors: Yubo Wang, Haoyang Li, Fei Teng, Lei Chen,
• Abstract要約: 本稿では,動的少ショットテキスト分類のためのグラフベースのオンライン検索拡張生成フレームワークであるGORAGを提案する。 GORAGは、すべてのターゲットテキストの側情報を抽出し、適応情報グラフを構築し、維持する。 実証的な評価は、GORAGがより包括的で正確な文脈情報を提供することで、既存のアプローチよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 15.0627807767152
• License:
• Abstract: Text classification is a fundamental task in natural language processing, pivotal to various applications such as query optimization, data integration, and schema matching. While neural network-based models, such as CNN and BERT, have demonstrated remarkable performance in text classification, their effectiveness heavily relies on abundant labeled training data. This dependency makes these models less effective in dynamic few-shot text classification, where labeled data is scarce, and target labels frequently evolve based on application needs. Recently, large language models (LLMs) have shown promise due to their extensive pretraining and contextual understanding. Current approaches provide LLMs with text inputs, candidate labels, and additional side information (e.g., descriptions) to predict text labels. However, their effectiveness is hindered by the increased input size and the noise introduced through side information processing. To address these limitations, we propose a graph-based online retrieval-augmented generation framework, namely GORAG, for dynamic few-shot text classification. GORAG constructs and maintains an adaptive information graph by extracting side information across all target texts, rather than treating each input independently. It employs a weighted edge mechanism to prioritize the importance and reliability of extracted information and dynamically retrieves relevant context using a minimum-cost spanning tree tailored for each text input. Empirical evaluations demonstrate that GORAG outperforms existing approaches by providing more comprehensive and accurate contextual information.
• Abstract（参考訳）: テキスト分類は自然言語処理における基本的なタスクであり、クエリ最適化、データ統合、スキーママッチングといった様々なアプリケーションに重要な役割を担っている。 CNNやBERTのようなニューラルネットワークベースのモデルは、テキスト分類において顕著なパフォーマンスを示しているが、その効果は豊富なラベル付きトレーニングデータに大きく依存している。 この依存関係により、ラベル付きデータが不足し、アプリケーションのニーズに応じてターゲットラベルが頻繁に進化する、動的な数ショットテキスト分類において、これらのモデルがより効果的になる。 近年,大規模言語モデル (LLM) は,事前学習や文脈理解が広範に行われているため,将来性を示している。 現在のアプローチでは、テキスト入力、候補ラベル、テキストラベルを予測するための追加のサイド情報(例:記述)がLLMに提供される。 しかし、その効果は、入力サイズが増大し、サイド情報処理によって導入されたノイズによって妨げられる。 これらの制約に対処するために,グラフベースのオンライン検索拡張生成フレームワークであるGORAGを提案する。 GORAGは、各入力を独立して扱うのではなく、すべてのターゲットテキストの側情報を抽出することで、適応情報グラフを構築し、維持する。 重み付けされたエッジ機構を用いて抽出された情報の重要性と信頼性を優先順位付けし、テキスト入力毎に調整された最小コストのスパンニングツリーを使用して、関連するコンテキストを動的に検索する。 実証的な評価は、GORAGがより包括的で正確な文脈情報を提供することで、既存のアプローチよりも優れていることを示している。

関連論文リスト

• Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
  グラフ上のノード分類は、しばしばクラス不均衡に悩まされ、現実のアプリケーションにおいてバイアスのある予測と重大なリスクをもたらす。 本研究では,テキスト分散グラフ(LA-TAG)を用いた大規模言語モデルに基づく拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T10:36:15Z)
• Hierarchical Knowledge Distillation on Text Graph for Data-limited Attribute Inference [5.618638372635474]
  我々は,ソーシャルメディアのテキストデータに基づく属性推論のためのテキストグラフに基づく少ショット学習モデルを開発した。 我々のモデルはまず、多様体学習とメッセージパッシングを用いてテキストグラフを構築し、洗練する。 クロスドメインテキストと未ラベルテキストをさらに活用して、少数ショットのパフォーマンスを向上させるために、テキストグラフ上で階層的な知識蒸留が考案される。
  論文  参考訳（メタデータ） (2024-01-10T05:50:34Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。