論文の概要: Structured Tuning for Semantic Role Labeling
- arxiv url: http://arxiv.org/abs/2005.00496v2
- Date: Tue, 5 May 2020 07:39:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 23:01:53.554095
- Title: Structured Tuning for Semantic Role Labeling
- Title(参考訳): セマンティックロールラベリングのための構造化チューニング
- Authors: Tao Li, Parth Anand Jawale, Martha Palmer, Vivek Srikumar
- Abstract要約: 最近のニューラルネットワークによるセマンティックロールラベリングシステムでは、F1スコアが著しく改善されている。
本稿では,訓練時にのみ軟化制約を用いたモデル改善のための構造化チューニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 38.66432166217337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent neural network-driven semantic role labeling (SRL) systems have shown
impressive improvements in F1 scores. These improvements are due to expressive
input representations, which, at least at the surface, are orthogonal to
knowledge-rich constrained decoding mechanisms that helped linear SRL models.
Introducing the benefits of structure to inform neural models presents a
methodological challenge. In this paper, we present a structured tuning
framework to improve models using softened constraints only at training time.
Our framework leverages the expressiveness of neural networks and provides
supervision with structured loss components. We start with a strong baseline
(RoBERTa) to validate the impact of our approach, and show that our framework
outperforms the baseline by learning to comply with declarative constraints.
Additionally, our experiments with smaller training sizes show that we can
achieve consistent improvements under low-resource scenarios.
- Abstract(参考訳): 最近のニューラルネットワーク駆動型セマンティックロールラベリング(SRL)システムでは、F1スコアが著しく改善されている。
これらの改善は、少なくとも表面的には、線形SRLモデルに役立つ知識に富んだ制約付き復号機構と直交する表現的入力表現によるものである。
神経モデルに情報を伝えるための構造の導入は方法論的な課題である。
本稿では,訓練時にのみ軟化制約を用いたモデル改善のための構造化チューニングフレームワークを提案する。
本フレームワークはニューラルネットワークの表現性を活用し,構造的損失成分の監視を行う。
まず、強いベースライン(RoBERTa)から始め、私たちのアプローチの影響を検証し、宣言的な制約に従うことを学ぶことで、私たちのフレームワークがベースラインを上回っていることを示します。
さらに、より小さなトレーニングサイズで実験した結果、低リソースシナリオで一貫した改善が得られました。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-07-06T12:33:34Z) - ASR: Attention-alike Structural Re-parameterization [56.88192537044364]
本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。
本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
論文 参考訳(メタデータ) (2023-04-13T08:52:34Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳(メタデータ) (2022-12-09T03:58:22Z) - Re-visiting Reservoir Computing architectures optimized by Evolutionary
Algorithms [0.0]
進化的アルゴリズム(EA)はニューラルネットワーク(NN)アーキテクチャの改善に応用されている。
我々は、Reservoir Computing (RC) という、リカレントNNの特定の領域におけるEAの応用に関する体系的な簡単な調査を行う。
論文 参考訳(メタデータ) (2022-11-11T14:50:54Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳(メタデータ) (2022-10-11T16:11:48Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳(メタデータ) (2022-02-16T14:17:37Z) - The Self-Simplifying Machine: Exploiting the Structure of Piecewise
Linear Neural Networks to Create Interpretable Models [0.0]
本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。
我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。
これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
論文 参考訳(メタデータ) (2020-12-02T16:02:14Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。