論文の概要: Structured Tuning for Semantic Role Labeling

• arxiv url: http://arxiv.org/abs/2005.00496v2
• Date: Tue, 5 May 2020 07:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:01:53.554095
• Title: Structured Tuning for Semantic Role Labeling
• Title（参考訳）: セマンティックロールラベリングのための構造化チューニング
• Authors: Tao Li, Parth Anand Jawale, Martha Palmer, Vivek Srikumar
• Abstract要約: 最近のニューラルネットワークによるセマンティックロールラベリングシステムでは、F1スコアが著しく改善されている。 本稿では,訓練時にのみ軟化制約を用いたモデル改善のための構造化チューニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.66432166217337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent neural network-driven semantic role labeling (SRL) systems have shown impressive improvements in F1 scores. These improvements are due to expressive input representations, which, at least at the surface, are orthogonal to knowledge-rich constrained decoding mechanisms that helped linear SRL models. Introducing the benefits of structure to inform neural models presents a methodological challenge. In this paper, we present a structured tuning framework to improve models using softened constraints only at training time. Our framework leverages the expressiveness of neural networks and provides supervision with structured loss components. We start with a strong baseline (RoBERTa) to validate the impact of our approach, and show that our framework outperforms the baseline by learning to comply with declarative constraints. Additionally, our experiments with smaller training sizes show that we can achieve consistent improvements under low-resource scenarios.
• Abstract（参考訳）: 最近のニューラルネットワーク駆動型セマンティックロールラベリング(SRL)システムでは、F1スコアが著しく改善されている。 これらの改善は、少なくとも表面的には、線形SRLモデルに役立つ知識に富んだ制約付き復号機構と直交する表現的入力表現によるものである。 神経モデルに情報を伝えるための構造の導入は方法論的な課題である。 本稿では,訓練時にのみ軟化制約を用いたモデル改善のための構造化チューニングフレームワークを提案する。 本フレームワークはニューラルネットワークの表現性を活用し,構造的損失成分の監視を行う。 まず、強いベースライン(RoBERTa)から始め、私たちのアプローチの影響を検証し、宣言的な制約に従うことを学ぶことで、私たちのフレームワークがベースラインを上回っていることを示します。 さらに、より小さなトレーニングサイズで実験した結果、低リソースシナリオで一貫した改善が得られました。

関連論文リスト

• Self-Organizing Recurrent Stochastic Configuration Networks for Nonstationary Data Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(Recurrent configuration network、RSCN)は、非線形力学のモデリングにおいて有望であることを示すランダム化モデルのクラスである。 本稿では,非定常データモデリングのためのネットワークの連続学習能力を高めるために,SORSCNと呼ばれる自己組織型RCCNを開発することを目的とする。
  論文  参考訳（メタデータ） (2024-10-14T01:28:25Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations [0.34410212782758043]
  強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。 本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-06T12:33:34Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Rotation-equivariant Graph Neural Networks for Learning Glassy Liquids Representations [0.5249805590164901]
  ガラスの静的構造の堅牢な表現を学習するグラフニューラルネットワークを構築する。 この制約は, パラメータ数に匹敵する, あるいは減少する予測能力を大幅に向上させることを示す。 ディープネットワークを維持しながら、我々のモデルは他のGNNと比較して解釈可能性を改善した。
  論文  参考訳（メタデータ） (2022-11-06T22:05:27Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。