論文の概要: Constraining Linear-chain CRFs to Regular Languages
- arxiv url: http://arxiv.org/abs/2106.07306v1
- Date: Mon, 14 Jun 2021 11:23:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 01:12:36.233091
- Title: Constraining Linear-chain CRFs to Regular Languages
- Title（参考訳）: 線形鎖CRFを正規言語に制約する
- Authors: Sean Papay, Roman Klinger and Sebastian Pad\'o
- Abstract要約: CRF(Linear-chain Conditional random Field)は、出力シーケンスの局所的な依存関係を学習できるモデルクラスである。
我々は、非局所的な制約を含む幅広い制約を強制できるCRFの一般化を提案する。
制約付きトレーニングが制約付き復号化よりも悪くないことを証明し、実際にかなり良い結果が得られることを合成データを用いて示す。
- 参考スコア（独自算出の注目度）: 9.887558262467257
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In structured prediction, a major challenge for models is to represent the
interdependencies within their output structures. For the common case where
outputs are structured as a sequence, linear-chain conditional random fields
(CRFs) are a widely used model class which can learn local dependencies in
output sequences. However, the CRF's Markov assumption makes it impossible for
these models to capture nonlocal dependencies, and standard CRFs are unable to
respect nonlocal constraints of the data (such as global arity constraints on
output labels). We present a generalization of CRFs that can enforce a broad
class of constraints, including nonlocal ones, by specifying the space of
possible output structures as a regular language $\mathcal{L}$. The resulting
regular-constrained CRF (RegCCRF) has the same formal properties as a standard
CRF, but assigns zero probability to all label sequences not in $\mathcal{L}$.
Notably, RegCCRFs can incorporate their constraints during training, while
related models only enforce constraints during decoding. We prove that
constrained training is never worse than constrained decoding, and show using
synthetic data that it can be substantially better in practice. Additionally,
we demonstrate a practical benefit on downstream tasks by incorporating a
RegCCRF into a deep neural model for semantic role labeling, exceeding
state-of-the-art results on a standard dataset.
- Abstract（参考訳）: 構造化予測では、モデルの主な課題は、出力構造内の相互依存を表現することである。
出力がシーケンスとして構造化される一般的な場合、線形鎖条件付きランダムフィールド(CRF)は、出力シーケンスの局所的依存関係を学習できる広く使われているモデルクラスである。
しかし、CRFのマルコフの仮定は、これらのモデルが非局所的な依存関係をキャプチャすることは不可能であり、標準のCRFはデータ(例えば出力ラベルのグローバルアリティ制約)の非局所的な制約を尊重することができない。
出力構造の空間を正規言語 $\mathcal{L}$ として指定することにより、非局所構造を含む幅広い制約を強制できる CRF の一般化を提案する。
結果として得られる正則制約 CRF (RegCCRF) は標準 CRF と同じ形式的性質を持つが、$\mathcal{L}$ でないすべてのラベル列にゼロ確率を割り当てる。
特に、RegCCRFはトレーニング中に制約を組み込むことができ、関連するモデルはデコード時にのみ制約を強制する。
制約付きトレーニングが制約付き復号化よりも悪くないことを証明し、実際にかなり良い結果が得られることを合成データを用いて示す。
さらに,RegCCRFをセマンティックロールラベリングのためのディープニューラルモデルに組み込むことで,ダウンストリームタスクに実用的なメリットを実証する。
関連論文リスト
- Regular-pattern-sensitive CRFs for Distant Label Interactions [10.64258723923874]
RPCRF(Regular-pattern-sensitive CRF)は、標準線形鎖CRFを強化し、長距離ラベルの相互作用を学習する手法である。
ユーザが指定したパターンの集合からRPCRFを自動構築する方法を示し、合成データに対するモデルの有効性を示す。
論文 参考訳（メタデータ） (2024-11-19T13:08:03Z) - Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。
本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。
CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
論文 参考訳（メタデータ） (2022-06-13T02:16:26Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-11-01T21:51:42Z) - Feature Completion for Occluded Person Re-Identification [138.5671859358049]
RFCブロックは、機能空間の隠された領域のセマンティクスを復元することができる。
SRFCは、隠蔽領域の特徴を予測するために、非隠蔽領域からの長距離空間コンテキストを利用する。
TRFCモジュールは、長期の時間的コンテキストをキャプチャして、SRFCの予測を洗練します。
論文 参考訳（メタデータ） (2021-06-24T02:40:40Z) - Latent Template Induction with Gumbel-CRFs [107.17408593510372]
文生成のための潜在テンプレートを推論するための構造化変分オートエンコーダについて検討する。
構造化推論ネットワークとして、トレーニング中に解釈可能なテンプレートを学習することを示す。
論文 参考訳（メタデータ） (2020-11-29T01:00:57Z) - Neural Latent Dependency Model for Sequence Labeling [47.32215014130811]
シークエンスラベリングにおける古典的アプローチは線形鎖条件付きランダムフィールド(CRF)である
線形鎖 CRF の1つの制限は、ラベル間の長距離依存をモデル化できないことである。
高次 CRF は線形鎖 CRF をその順序以上に拡張するが、計算複雑性は指数関数的に増大する。
木構造を持つラベル間の任意の長さをモデル化するニューラル潜時依存モデル(NLDM)を提案する。
論文 参考訳（メタデータ） (2020-11-10T10:05:21Z) - Constrained Decoding for Computationally Efficient Named Entity
Recognition Taggers [15.279850826041066]
現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。
不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
論文 参考訳（メタデータ） (2020-10-09T04:07:52Z) - Random Forests for dependent data [1.5469452301122173]
本稿では,RFの新たな拡張であるRF-GLSを提案する。
この拡張の鍵は、大域的OLS最適化として回帰木における局所的な決定の等価表現である。
RF-GLSによるRFの予測と予測の精度向上を実験的に実証した。
論文 参考訳（メタデータ） (2020-07-30T12:36:09Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳（メタデータ） (2020-06-18T20:09:53Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。