論文の概要: Hierarchical Knowledge Distillation on Text Graph for Data-limited Attribute Inference

• arxiv url: http://arxiv.org/abs/2401.06802v1
• Date: Wed, 10 Jan 2024 05:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 10:13:21.826329
• Title: Hierarchical Knowledge Distillation on Text Graph for Data-limited Attribute Inference
• Title（参考訳）: データ限定属性推論のためのテキストグラフ上の階層的知識蒸留
• Authors: Quan Li, Shixiong Jing, Lingwei Chen
• Abstract要約: 我々は,ソーシャルメディアのテキストデータに基づく属性推論のためのテキストグラフに基づく少ショット学習モデルを開発した。 我々のモデルはまず、多様体学習とメッセージパッシングを用いてテキストグラフを構築し、洗練する。 クロスドメインテキストと未ラベルテキストをさらに活用して、少数ショットのパフォーマンスを向上させるために、テキストグラフ上で階層的な知識蒸留が考案される。
• 参考スコア（独自算出の注目度）: 5.618638372635474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The popularization of social media increases user engagements and generates a large amount of user-oriented data. Among them, text data (e.g., tweets, blogs) significantly attracts researchers and speculators to infer user attributes (e.g., age, gender, location) for fulfilling their intents. Generally, this line of work casts attribute inference as a text classification problem, and starts to leverage graph neural networks (GNNs) to utilize higher-level representations of source texts. However, these text graphs are constructed over words, suffering from high memory consumption and ineffectiveness on few labeled texts. To address this challenge, we design a text-graph-based few-shot learning model for attribute inferences on social media text data. Our model first constructs and refines a text graph using manifold learning and message passing, which offers a better trade-off between expressiveness and complexity. Afterwards, to further use cross-domain texts and unlabeled texts to improve few-shot performance, a hierarchical knowledge distillation is devised over text graph to optimize the problem, which derives better text representations, and advances model generalization ability. Experiments on social media datasets demonstrate the state-of-the-art performance of our model on attribute inferences with considerably fewer labeled texts.
• Abstract（参考訳）: ソーシャルメディアの普及はユーザーのエンゲージメントを高め、大量のユーザー指向データを生成する。 その中でも、テキストデータ(例えば、ツイート、ブログ)は、研究者や投機家の意図を満たすためにユーザーの属性(年齢、性別、場所など)を推測するために大いに引き寄せる。 一般的に、この一連の研究は属性推論をテキスト分類問題とみなし、グラフニューラルネットワーク(GNN)を活用して、ソーステキストの高レベル表現を活用する。 しかし、これらのテキストグラフは単語の上に構築され、少ないラベル付きテキストで高いメモリ消費と非効率に苦しむ。 この課題に対処するために,ソーシャルメディアのテキストデータに対する属性推論のための,テキストグラフに基づく少数ショット学習モデルを設計する。 私たちのモデルはまず,マニホールド学習とメッセージパッシングを用いたテキストグラフの構築と洗練を行い,表現性と複雑性のトレードオフを改善した。 その後、クロスドメインテキストとラベルなしテキストをさらに活用して、少数のパフォーマンスを改善するため、テキストグラフ上で階層的な知識蒸留を考案し、より良いテキスト表現を導き、モデル一般化能力を向上させる。 ソーシャルメディアデータセットを用いた実験は、ラベル付きテキストがかなり少ない属性推論において、我々のモデルの最先端のパフォーマンスを示す。

関連論文リスト

• GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models [33.3678293782131]
  本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。 言語指導によるビュージェネレーションの改善を目指しています。 これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
  論文  参考訳（メタデータ） (2024-06-17T17:49:19Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
  テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-10-10T14:59:22Z)
• Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs [4.56877715768796]
  我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。 また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
  論文  参考訳（メタデータ） (2023-07-14T12:45:03Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Improving Graph-Based Text Representations with Character and Word Level N-grams [30.699644290131044]
  単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。 また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
  論文  参考訳（メタデータ） (2022-10-12T08:07:54Z)
• Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
  短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。 まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。 そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
  論文  参考訳（メタデータ） (2021-10-30T05:33:05Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。