論文の概要: Constraining Linear-chain CRFs to Regular Languages
- arxiv url: http://arxiv.org/abs/2106.07306v6
- Date: Fri, 11 Aug 2023 10:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 18:23:36.785720
- Title: Constraining Linear-chain CRFs to Regular Languages
- Title（参考訳）: 線形鎖CRFを正規言語に制約する
- Authors: Sean Papay, Roman Klinger and Sebastian Pad\'o
- Abstract要約: 構造化予測における大きな課題は、出力構造内の相互依存を表現することである。
我々は、非局所的な制約を含む幅広い制約を強制できるCRFの一般化を提案する。
制約付きトレーニングは、制約付き復号化よりも決して悪くないことを実証し、実際は大幅に改善できることを実証的に示す。
- 参考スコア（独自算出の注目度）: 10.759863489447204
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: A major challenge in structured prediction is to represent the
interdependencies within output structures. When outputs are structured as
sequences, linear-chain conditional random fields (CRFs) are a widely used
model class which can learn \textit{local} dependencies in the output. However,
the CRF's Markov assumption makes it impossible for CRFs to represent
distributions with \textit{nonlocal} dependencies, and standard CRFs are unable
to respect nonlocal constraints of the data (such as global arity constraints
on output labels). We present a generalization of CRFs that can enforce a broad
class of constraints, including nonlocal ones, by specifying the space of
possible output structures as a regular language $\mathcal{L}$. The resulting
regular-constrained CRF (RegCCRF) has the same formal properties as a standard
CRF, but assigns zero probability to all label sequences not in $\mathcal{L}$.
Notably, RegCCRFs can incorporate their constraints during training, while
related models only enforce constraints during decoding. We prove that
constrained training is never worse than constrained decoding, and show
empirically that it can be substantially better in practice. Additionally, we
demonstrate a practical benefit on downstream tasks by incorporating a RegCCRF
into a deep neural model for semantic role labeling, exceeding state-of-the-art
results on a standard dataset.
- Abstract（参考訳）: 構造化予測における大きな課題は、出力構造内の相互依存を表現することである。
出力がシーケンスとして構成されるとき、線形鎖条件付き確率場(crfs)は、出力内の\textit{local}依存性を学習できる広く使用されるモデルクラスである。
しかし、CRFのマルコフ仮定は、CRFが \textit{nonlocal} 依存関係を持つ分布を表現することは不可能であり、標準 CRF はデータの非局所的制約(出力ラベルのグローバルアリティ制約など)を尊重できない。
出力構造の空間を正規言語 $\mathcal{L}$ として指定することにより、非局所構造を含む幅広い制約を強制できる CRF の一般化を提案する。
結果として得られる正則制約 CRF (RegCCRF) は標準 CRF と同じ形式的性質を持つが、$\mathcal{L}$ でないすべてのラベル列にゼロ確率を割り当てる。
特に、RegCCRFはトレーニング中に制約を組み込むことができ、関連するモデルはデコード時にのみ制約を強制する。
制約付きトレーニングは、制約付き復号化よりも決して悪くないことを実証し、実際は大幅に改善できることを実証的に示す。
さらに,RegCCRFをセマンティックロールラベリングのためのディープニューラルモデルに組み込むことで,ダウンストリームタスクに実用的なメリットを実証する。
関連論文リスト
- Optimal Kernel Quantile Learning with Random Features [0.9208007322096533]
本稿では、ランダムな特徴を持つカーネル量子化回帰(KQR-RF)の一般化研究について述べる。
本研究は,KQR-RFの能力依存学習率を,RF数に対する軽度条件下で確立する。
我々の仮定を少し修正することによって、キャパシティに依存した誤差解析が、リプシッツ連続損失のケースにも適用できる。
論文 参考訳（メタデータ） (2024-08-24T14:26:09Z) - Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。
本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。
CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
論文 参考訳（メタデータ） (2022-06-13T02:16:26Z) - Sequence Transduction with Graph-based Supervision [96.04967815520193]
ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。
CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-11-01T21:51:42Z) - Feature Completion for Occluded Person Re-Identification [138.5671859358049]
RFCブロックは、機能空間の隠された領域のセマンティクスを復元することができる。
SRFCは、隠蔽領域の特徴を予測するために、非隠蔽領域からの長距離空間コンテキストを利用する。
TRFCモジュールは、長期の時間的コンテキストをキャプチャして、SRFCの予測を洗練します。
論文 参考訳（メタデータ） (2021-06-24T02:40:40Z) - Latent Template Induction with Gumbel-CRFs [107.17408593510372]
文生成のための潜在テンプレートを推論するための構造化変分オートエンコーダについて検討する。
構造化推論ネットワークとして、トレーニング中に解釈可能なテンプレートを学習することを示す。
論文 参考訳（メタデータ） (2020-11-29T01:00:57Z) - Neural Latent Dependency Model for Sequence Labeling [47.32215014130811]
シークエンスラベリングにおける古典的アプローチは線形鎖条件付きランダムフィールド(CRF)である
線形鎖 CRF の1つの制限は、ラベル間の長距離依存をモデル化できないことである。
高次 CRF は線形鎖 CRF をその順序以上に拡張するが、計算複雑性は指数関数的に増大する。
木構造を持つラベル間の任意の長さをモデル化するニューラル潜時依存モデル(NLDM)を提案する。
論文 参考訳（メタデータ） (2020-11-10T10:05:21Z) - Constrained Decoding for Computationally Efficient Named Entity
Recognition Taggers [15.279850826041066]
現在の研究は、スパン符号化方式がどのように機能するかについての事前知識を導き、遷移が違法であり、グローバルコヒーレンスを促進することができない条件付きランダムフィールド(CRF)学習に依存している。
不正な遷移を抑制するために出力を制限することにより、統計的に重要でないF1の違いでCRFの2倍の速度で、クロスエントロピー損失のタガーを訓練できることがわかった。
論文 参考訳（メタデータ） (2020-10-09T04:07:52Z) - Random Forests for dependent data [1.5469452301122173]
本稿では,RFの新たな拡張であるRF-GLSを提案する。
この拡張の鍵は、大域的OLS最適化として回帰木における局所的な決定の等価表現である。
RF-GLSによるRFの予測と予測の精度向上を実験的に実証した。
論文 参考訳（メタデータ） (2020-07-30T12:36:09Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳（メタデータ） (2020-06-18T20:09:53Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。