Fugu-MT 論文翻訳(概要): Scaling Graph-Based Dependency Parsing with Arc Vectorization and Attention-Based Refinement

論文の概要: Scaling Graph-Based Dependency Parsing with Arc Vectorization and Attention-Based Refinement

arxiv url: http://arxiv.org/abs/2501.09451v1
Date: Thu, 16 Jan 2025 10:26:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-17 15:10:42.310557
Title: Scaling Graph-Based Dependency Parsing with Arc Vectorization and Attention-Based Refinement
Title（参考訳）: アークベクトル化とアテンションベースリファインメントによるグラフベース依存パーシングのスケーリング
Authors: Nicolas Floquet, Joseph Le Roux, Nadi Tomeh, Thierry Charnois,
Abstract要約: 本稿では,ベクトルを明示的に構成するグラフベースの依存性解析のための新しいアーキテクチャを提案する。本手法は,アークスコアリングとラベル付けを単一ネットワークに統一することで,標準的な2ピペリン方式の鍵となる制約に対処する。我々のアーキテクチャは、高次の依存関係を効率的にシミュレートするために、トランスフォーマー層との限られたアーク相互作用を克服する。
参考スコア（独自算出の注目度）: 3.104885020468957
License:
Abstract: We propose a novel architecture for graph-based dependency parsing that explicitly constructs vectors, from which both arcs and labels are scored. Our method addresses key limitations of the standard two-pipeline approach by unifying arc scoring and labeling into a single network, reducing scalability issues caused by the information bottleneck and lack of parameter sharing. Additionally, our architecture overcomes limited arc interactions with transformer layers to efficiently simulate higher-order dependencies. Experiments on PTB and UD show that our model outperforms state-of-the-art parsers in both accuracy and efficiency.
Abstract（参考訳）: 本稿では,ベクトルを明示的に構成するグラフベースの依存性解析のための新しいアーキテクチャを提案する。本手法は、アークスコアリングとラベル付けを単一ネットワークに統一し、情報ボトルネックとパラメータ共有の欠如に起因するスケーラビリティの問題を軽減し、標準的な2ピペリン方式の鍵となる限界に対処する。さらに、我々のアーキテクチャはトランスフォーマー層との限られたアーク相互作用を克服し、高次の依存関係を効率的にシミュレートする。 PTBとUDの実験により、我々のモデルは精度と効率の両方で最先端のパーサーより優れていることが示された。

関連論文リスト

Comb, Prune, Distill: Towards Unified Pruning for Vision Model Compression [24.119415458653616]
我々はモデル非依存とタスク非依存の両方に同時に対処する新しい統一型刈取フレームワークComb, Prune, Distill (CPD)を提案する。当社のフレームワークは階層的な階層的な依存性問題を解決するための統合的なステップを採用しており、アーキテクチャの独立性を実現しています。画像分類では、精度が1.8%、セマンティックセグメンテーションがx1.89、mIoUが5.1%のスピードアップを達成する。
論文参考訳（メタデータ） (2024-08-06T09:02:31Z)
A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。また,モーザイクアーティファクトを緩和するのには単純だが有効であるHR特徴量に対して,きめ細かな近傍選択戦略を開発した。提案するReSFUフレームワークは,異なるセグメンテーションアプリケーション上での良好な性能を一貫して達成する。
論文参考訳（メタデータ） (2024-07-02T14:12:21Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2024-03-08T05:23:55Z)
EPIC: Graph Augmentation with Edit Path Interpolation via Learnable Cost [12.191001329584502]
本稿では,グラフデータセットを新たに拡張するEPIC (Edit Path Interpolation via learnable Cost)を提案する。不規則な領域にある2つのグラフの間を補間するために、EPICは2つのグラフ間の変換プロセスを表す編集パスを構築する。我々のアプローチは多くのタスクにおいて既存の拡張テクニックよりも優れています。
論文参考訳（メタデータ） (2023-06-02T07:19:07Z)
Hierarchical Graph Neural Network with Cross-Attention for Cross-Device User Matching [15.921180983956798]
デバイス間のユーザマッチングは、広告、レコメンダシステム、サイバーセキュリティなど、多くの領域において重要な問題である。本稿では,階層型グラフニューラルネットワークアーキテクチャ(HGNN)を提案する。本モデルではクロスアテンション(Cross-Att)機構を導入し,最先端TGCE法と比較して性能を5%向上させる。
論文参考訳（メタデータ） (2023-04-06T16:48:34Z)
DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文参考訳（メタデータ） (2023-01-30T14:02:33Z)
Graph Reasoning Transformer for Image Parsing [67.76633142645284]
本稿では,画像解析のためのグラフ推論変換器(GReaT)を提案する。従来の変圧器と比較して、GReaTは高い相互作用効率とより目的のある相互作用パターンを有する。その結果、GReaTは、最先端のトランスフォーマーベースラインにわずかに計算オーバーヘッドを伴って、一貫した性能向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-09-20T08:21:37Z)
Multi-task Self-distillation for Graph-based Semi-Supervised Learning [6.277952154365413]
本稿では,グラフ畳み込みネットワークに自己教師付き学習と自己蒸留を注入するマルチタスク自己蒸留フレームワークを提案する。まず、プレテキストタスクに基づいて自己超越パイプラインを定式化し、グラフの異なるレベルの類似性をキャプチャする。第二に、自己蒸留はモデル自体のソフトラベルを追加の監督として使用する。
論文参考訳（メタデータ） (2021-12-02T12:43:41Z)
Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
論文参考訳（メタデータ） (2021-08-15T13:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。