論文の概要: FewShotTextGCN: K-hop neighborhood regularization for few-shot learning on graphs

• arxiv url: http://arxiv.org/abs/2301.10481v1
• Date: Wed, 25 Jan 2023 09:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 15:39:17.842466
• Title: FewShotTextGCN: K-hop neighborhood regularization for few-shot learning on graphs
• Title（参考訳）: FewShotTextGCN: K-hop neighborhood regularization for few-shot learning on graphs
• Authors: Niels van der Heijden, Ekaterina Shutova and Helen Yannakoudakis
• Abstract要約: FewShotTextGCNは、低リソース環境での学習を改善するために、ワード文書グラフの特性を効果的に活用するために設計されている。 Kホップ近傍正規化(K-hop Neighbourhood Regularization)は、不均一グラフの正規化であり、少数のトレーニングサンプルが利用可能であれば、学習を安定させ、改善することを示す。
• 参考スコア（独自算出の注目度）: 25.88292419660444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present FewShotTextGCN, a novel method designed to effectively utilize the properties of word-document graphs for improved learning in low-resource settings. We introduce K-hop Neighbourhood Regularization, a regularizer for heterogeneous graphs, and show that it stabilizes and improves learning when only a few training samples are available. We furthermore propose a simplification in the graph-construction method, which results in a graph that is $\sim$7 times less dense and yields better performance in little-resource settings while performing on par with the state of the art in high-resource settings. Finally, we introduce a new variant of Adaptive Pseudo-Labeling tailored for word-document graphs. When using as little as 20 samples for training, we outperform a strong TextGCN baseline with 17% in absolute accuracy on average over eight languages. We demonstrate that our method can be applied to document classification without any language model pretraining on a wide range of typologically diverse languages while performing on par with large pretrained language models.
• Abstract（参考訳）: FewShotTextGCNは,低リソース環境下での学習改善のために,単語文書グラフの特性を効果的に活用するための新しい手法である。 ヘテロジニアスグラフの正則化であるk-hop近傍正規化を導入し,少数のトレーニングサンプルしか利用できない場合の学習の安定化と改善を示す。 我々はさらに,グラフ構築法の単純化を提案する。その結果,$\sim$7 未満のグラフが,高リソース設定における技術と同等のパフォーマンスを保ちながら,少ないリソース設定でパフォーマンスが向上する。 最後に,単語文書グラフに適したAdaptive Pseudo-Labelingを提案する。 トレーニングに20個のサンプルを使用する場合、平均8つの言語で17%の絶対精度で、強いtextgcnベースラインを上回っています。 本手法は,多種多様な言語を事前学習することなく,大規模な事前学習言語モデルと同等の性能を示しながら,文書分類に適用できることを実証する。

関連論文リスト

• Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs [35.44563283531432]
  テキスト分散グラフ(英: Text-attributed graph、TAG)は、生のテキストに関連付けられた各ノードを持つ、現実世界の重要なグラフ構造化データの一種である。 TAGでは、従来の数発のノード分類手法が、事前処理されたノード機能で直接トレーニングを行う。 P2TAGは、グラフ事前学習とプロンプトを備えたTAG上の少数ショットノード分類のためのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-22T07:24:21Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks? [25.898812694174772]
  本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。 各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。 2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
  論文  参考訳（メタデータ） (2023-05-23T23:31:24Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Neural Language Modeling for Contextualized Temporal Graph Generation [49.21890450444187]
  本稿では,大規模事前学習言語モデルを用いた文書のイベントレベル時間グラフの自動生成に関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2020-10-20T07:08:00Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。