論文の概要: Learning Constraints for Structured Prediction Using Rectifier Networks

• arxiv url: http://arxiv.org/abs/2006.01209v1
• Date: Sat, 23 May 2020 18:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-30 03:18:54.853301
• Title: Learning Constraints for Structured Prediction Using Rectifier Networks
• Title（参考訳）: 整流回路網を用いた構造予測のための学習制約
• Authors: Xingyuan Pan, Maitrey Mehta, Vivek Srikumar
• Abstract要約: 自然言語処理タスクは、複数の相互依存的な決定によって出力が構築される構造的予測問題である。 過去の研究は、出力空間上の制約としてフレーム化されたドメイン知識が予測精度を向上させることを示してきた。 本稿では,そのような制約を学習する問題について考察する。
• 参考スコア（独自算出の注目度）: 36.86927056244439
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Various natural language processing tasks are structured prediction problems where outputs are constructed with multiple interdependent decisions. Past work has shown that domain knowledge, framed as constraints over the output space, can help improve predictive accuracy. However, designing good constraints often relies on domain expertise. In this paper, we study the problem of learning such constraints. We frame the problem as that of training a two-layer rectifier network to identify valid structures or substructures, and show a construction for converting a trained network into a system of linear constraints over the inference variables. Our experiments on several NLP tasks show that the learned constraints can improve the prediction accuracy, especially when the number of training examples is small.
• Abstract（参考訳）: 自然言語処理タスクは、複数の相互依存的な決定によって出力が構築される構造的予測問題である。 過去の研究は、出力空間上の制約としてフレーム化されたドメイン知識が予測精度の向上に役立つことを示した。 しかし、良い制約を設計するには、しばしばドメインの専門知識に依存する。 本稿では,そのような制約を学習する問題を考察する。 そこで本研究では,2層整流回路網を訓練して有効な構造やサブ構造を同定し,学習したネットワークを推論変数上の線形制約系に変換する手法を提案する。 いくつかのnlpタスクにおける実験では,学習制約が予測精度を向上できることが示されている。

関連論文リスト

• Multitask Kernel-based Learning with Logic Constraints [13.70920563542248]
  本稿では,タスク関数の集合間の論理制約をカーネルマシンに組み込む枠組みを提案する。 特徴空間上の複数の一意述語をカーネルマシンで学習するマルチタスク学習方式を検討する。 一般的なアプローチでは、論理節を連続的な実装に変換し、カーネルベースの述語によって計算された出力を処理する。
  論文  参考訳（メタデータ） (2024-02-16T12:11:34Z)
• Active learning for structural reliability analysis with multiple limit state functions through variance-enhanced PC-Kriging surrogate models [0.0]
  既存のサロゲートモデルをトレーニングするためのアクティブな戦略は、正確な構造的信頼度を推定する。 本研究は,限られた計算予算の下で学習サンプルを効率的に選択するための能動的学習手法の能力について検討する。
  論文  参考訳（メタデータ） (2023-02-23T15:01:06Z)
• Neuro-Symbolic Constraint Programming for Structured Prediction [32.427665902031436]
  ニューラルネットワークを制約付き構造予測器に注入する手法であるNesterを提案する。 Nesterは2つのコンポーネントの特徴を活用している。ニューラルネットワークは低レベルのデータから複雑な表現を学習する。 手書き式認識の実証的評価は、Nesterがニューラルネットワークと制約構造予測器の両方よりも優れたパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-03-31T17:31:33Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Randomized Deep Structured Prediction for Discourse-Level Processing [45.725437752821655]
  近年,表現型テキストエンコーダがNLPモデルの中心となっている。 複雑な議論構造を含むタスク群に対して,深層構造予測と表現型ニューラルネットワークエンコーダを効率的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-01-25T21:49:32Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。