論文の概要: LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction

• arxiv url: http://arxiv.org/abs/2001.04437v3
• Date: Wed, 5 Aug 2020 15:36:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 22:22:19.898457
• Title: LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction
• Title（参考訳）: LP-SparseMAP:スパース構造予測のための微分緩和最適化
• Authors: Vlad Niculae, Andr\'e F. T. Martins
• Abstract要約: スパースMAPは、最大アフターリ(MAP)と限界推論に代わる、微分可能でスパースな代替品である。 LP-SparseMAPはフレキシブルで強力な因子グラフのドメイン固有言語を使用して、任意の隠れ構造を定義およびバックプロパゲートする。 LP-SparseMAPを隠蔽層や出力層として使用するのに必要な前方および後方アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 20.204147875108976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured prediction requires manipulating a large number of combinatorial structures, e.g., dependency trees or alignments, either as latent or output variables. Recently, the SparseMAP method has been proposed as a differentiable, sparse alternative to maximum a posteriori (MAP) and marginal inference. SparseMAP returns a combination of a small number of structures, a desirable property in some downstream applications. However, SparseMAP requires a tractable MAP inference oracle. This excludes, e.g., loopy graphical models or factor graphs with logic constraints, which generally require approximate inference. In this paper, we introduce LP-SparseMAP, an extension of SparseMAP that addresses this limitation via a local polytope relaxation. LP-SparseMAP uses the flexible and powerful domain specific language of factor graphs for defining and backpropagating through arbitrary hidden structure, supporting coarse decompositions, hard logic constraints, and higher-order correlations. We derive the forward and backward algorithms needed for using LP-SparseMAP as a hidden or output layer. Experiments in three structured prediction tasks show benefits compared to SparseMAP and Structured SVM.
• Abstract（参考訳）: 構造予測では、依存木やアライメントなどの多数の組合せ構造を、潜在変数や出力変数として操作する必要がある。 近年、SparseMAP法は、最大アフター(MAP)と限界推論に代わる、微分可能でスパースな方法として提案されている。 sparsemapは、いくつかの下流アプリケーションで望ましいプロパティである少数の構造体の組み合わせを返す。 しかし、SparseMAPは抽出可能なMAP推論オラクルを必要とする。 これは例えば、概して近似推論を必要とする論理的制約を持つループグラフィカルモデルや因子グラフを除外する。 本稿では,SparseMAPの拡張であるLP-SparseMAPを紹介する。 LP-SparseMAPはフレキシブルで強力な因子グラフのドメイン固有言語を使用して、任意の隠れ構造を定義・バックプロパゲートし、粗い分解、ハードロジック制約、高階相関をサポートする。 LP-SparseMAPを隠蔽層や出力層として使用するのに必要な前方および後方アルゴリズムを導出する。 3つの構造化予測タスクの実験は、SparseMAPとStructured SVMと比較して利点を示す。

関連論文リスト

• Fast unsupervised ground metric learning with tree-Wasserstein distance [14.235762519615175]
  教師なしの地上距離学習アプローチが導入されました 木にサンプルや特徴を埋め込むことでWSV法を強化し,木-ワッサーシュタイン距離(TWD)を計算することを提案する。 我々は、このアルゴリズムが最もよく知られた方法よりも完全なWSVアプローチの近似に収束し、$mathcalO(n3)$複雑さを持つことを理論的かつ経験的に実証する。
  論文  参考訳（メタデータ） (2024-11-11T23:21:01Z)
• Parse Trees Guided LLM Prompt Compression [20.61121589698341]
  本稿では、PartPromptと呼ばれる新しい選択的圧縮手法を提案する。 まず、言語規則に基づいて各文のパースツリーを取得し、パースツリーの各ノードのローカル情報エントロピーを算出する。 実験によると、PartPromptはさまざまなデータセットで最先端のパフォーマンスを受信している。
  論文  参考訳（メタデータ） (2024-09-23T06:21:40Z)
• A distribution-guided Mapper algorithm [0.3683202928838613]
  本稿ではD-Mapperという分布誘導型Mapperアルゴリズムを提案する。 提案アルゴリズムは確率的モデルに基づく手法であり,非確率的手法の代替となる可能性がある。 数値実験により,D-Mapperは様々なシナリオにおいて従来のMapperアルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-19T17:07:05Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• Scaling Up Knowledge Graph Creation to Large and Heterogeneous Data Sources [2.732936573198251]
  RDFナレッジグラフ(英: RDF knowledge graph, KG)は、異種データソースから生成された事実を表す強力なデータ構造である。 本稿では, 宣言的に特定されたKG生成プロセスの自動生成の問題に取り組む。 RDFマッピング言語(RML)で定義されたアサーションに従って、異種データをRDFトリプルに計画・変換する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-24T14:01:09Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)
• Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
  本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
  論文  参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。