Fugu-MT 論文翻訳(概要): Forget me not: A Gentle Reminder to Mind the Simple Multi-Layer Perceptron Baseline for Text Classification

論文の概要: Forget me not: A Gentle Reminder to Mind the Simple Multi-Layer Perceptron Baseline for Text Classification

arxiv url: http://arxiv.org/abs/2109.03777v1
Date: Wed, 8 Sep 2021 16:54:28 GMT
ステータス: 処理完了
システム内更新日: 2021-09-09 13:55:58.284362
Title: Forget me not: A Gentle Reminder to Mind the Simple Multi-Layer Perceptron Baseline for Text Classification
Title（参考訳）: Forget me not: An Gentle Reminder to Mind the Simple Multi-Layer Perceptron Baseline for Text Classification
Authors: Lukas Galke and Ansgar Scherp
Abstract要約: 単純なベースラインがベンチマークデータセットで同等のパフォーマンスを達成することを示す。さらに比較のためにDistilBERTを微調整し、すべての最先端モデルより優れていることを確かめる。
参考スコア（独自算出の注目度）: 6.11708497223777
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks have triggered a resurgence of graph-based text classification. We show that already a simple MLP baseline achieves comparable performance on benchmark datasets, questioning the importance of synthetic graph structures. When considering an inductive scenario, i. e., when adding new documents to a corpus, a simple MLP even outperforms most graph-based models. We further fine-tune DistilBERT for comparison and find that it outperforms all state-of-the-art models. We suggest that future studies use at least an MLP baseline to contextualize the results. We provide recommendations for the design and training of such a baseline.
Abstract（参考訳）: グラフニューラルネットワークは、グラフベースのテキスト分類の復活を引き起こした。すでに単純なmlpベースラインがベンチマークデータセットで同等のパフォーマンスを達成しており、合成グラフ構造の重要性に疑問を投げかけている。インダクティブシナリオ、すなわち、コーパスに新しいドキュメントを追加する場合、単純なMPPは、ほとんどのグラフベースのモデルよりも優れています。さらに比較のためにDistilBERTを微調整し、すべての最先端モデルより優れていることを確かめる。今後の研究では、少なくともMLPベースラインを用いて結果の文脈化が期待できる。このようなベースラインの設計とトレーニングを推奨します。

関連論文リスト

GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
論文参考訳（メタデータ） (2024-07-10T08:20:47Z)
Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs [7.407592553310068]
本稿では,単純な手法とGNN間の性能差を調べるための,公正なベンチマークフレームワークに基づく経験的プロトコルを提案する。また,データセットの複雑性とモデル性能を両立させることにより,データセットの有効性を定量化する新しい指標を提案する。我々の発見は、ベンチマークデータセットの現在の理解に光を当て、新しいプラットフォームは、グラフ分類ベンチマークの将来的な進化を後押しする可能性がある。
論文参考訳（メタデータ） (2024-07-06T08:33:23Z)
Graph Neural Machine: A New Model for Learning with Tabular Data [25.339493426758903]
グラフニューラルネットワーク(GNN)は最近、グラフ上で機械学習タスクを実行するための標準ツールになっている。本稿では,表現が非同期メッセージパッシングGNNモデルと等価であることを示す。次に、データのための新しい機械学習モデル、いわゆるグラフニューラルネットワーク(GNM)を提案する。
論文参考訳（メタデータ） (2024-02-05T10:22:15Z)
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文参考訳（メタデータ） (2023-10-08T04:44:36Z)
Strengthening structural baselines for graph classification using Local Topological Profile [0.0]
本稿では,グラフ分類に広く用いられている構造的ベースラインを形成するトポロジカルグラフ記述子Local Degree Profile (LDP) の解析について述べる。そこで我々は,新たな集中度尺度と局所記述子を用いて LDP を拡張したローカルトポロジカルプロファイル (adam) と呼ばれる新しいベースラインアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-05-01T08:59:58Z)
Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [22.541655587228203]
グラフタスク上での低遅延多層パーセプトロン(MLP)への高精度グラフニューラルネットワーク(GNN)の蒸留はホットな研究トピックとなっている。グラフエッジ(エッジフリー)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)法を提案する。
論文参考訳（メタデータ） (2023-03-24T02:28:55Z)
GraphMLP: A Graph MLP-Like Architecture for 3D Human Pose Estimation [68.65764751482774]
GraphMLPは3次元ポーズ推定のためのグローバル-ローカル-グラフィック統合アーキテクチャである。人体のグラフ構造をモデルに組み込んで、3D人間のポーズのドメイン固有の要求を満たす。複雑な時間力学を単純な方法でモデル化するために拡張することができ、列長の計算コストは無視できる。
論文参考訳（メタデータ） (2022-06-13T18:59:31Z)
Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文参考訳（メタデータ） (2022-05-06T03:37:00Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文参考訳（メタデータ） (2021-10-30T05:33:05Z)
Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。