論文の概要: Differentiable Projection for Constrained Deep Learning

• arxiv url: http://arxiv.org/abs/2111.10785v1
• Date: Sun, 21 Nov 2021 10:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 16:57:59.736610
• Title: Differentiable Projection for Constrained Deep Learning
• Title（参考訳）: 制約付き深層学習のための微分可能射影
• Authors: Dou Huang, Haoran Zhang, Xuan Song and Ryosuke Shibasaki
• Abstract要約: 一部の応用では、基礎的な真理観測が従う制約など、いくつかの事前知識が容易に得られる。 本稿では,時間を要するKKT条件を直接解決する代わりに,DNNにおいて微分可能なプロジェクション層を用いることを提案する。 提案手法は微分可能であり,重い計算は不要である。
• 参考スコア（独自算出の注目度）: 17.228410662469994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have achieved extraordinary performance in solving different tasks in various fields. However, the conventional DNN model is steadily approaching the ground-truth value through loss backpropagation. In some applications, some prior knowledge could be easily obtained, such as constraints which the ground truth observation follows. Here, we try to give a general approach to incorporate information from these constraints to enhance the performance of the DNNs. Theoretically, we could formulate these kinds of problems as constrained optimization problems that KKT conditions could solve. In this paper, we propose to use a differentiable projection layer in DNN instead of directly solving time-consuming KKT conditions. The proposed projection method is differentiable, and no heavy computation is required. Finally, we also conducted some experiments using a randomly generated synthetic dataset and image segmentation task using the PASCAL VOC dataset to evaluate the performance of the proposed projection method. Experimental results show that the projection method is sufficient and outperforms baseline methods.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまな分野におけるさまざまなタスクの解決において、極めて優れたパフォーマンスを実現している。 しかし,従来のDNNモデルでは,ロスバックプロパゲーションによる地道値に着実にアプローチしている。 一部の応用では、基礎的な真理観測が従う制約など、いくつかの事前知識が容易に得られる。 本稿では,これらの制約から情報を取り込んでDNNの性能を高めるための一般的なアプローチを提案する。 理論的には、これらの問題をKKT条件が解けるような制約付き最適化問題として定式化することができる。 本稿では,時間を要するKKT条件を直接解決する代わりに,DNNにおける微分可能なプロジェクション層を提案する。 提案手法は微分可能であり,重い計算は不要である。 最後に,提案手法の性能評価のために,ランダムに生成された合成データセットとpascal vocデータセットを用いた画像分割タスクを用いた実験を行った。 実験の結果, 投影法が十分であり, ベースライン法を上回った。

関連論文リスト

• Reliable Projection Based Unsupervised Learning for Semi-Definite QCQP with Application of Beamforming Optimization [11.385703484113552]
  本稿では,半定値制約を持つ特殊2次クラス(QCQP)について検討する。 本稿では,高い性能の制約解を得るための有望な手法としてニューラルネットワーク(NN)を提案する。 教師なし学習が使用されるため、NNはラベルなしで効果的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-04T06:26:01Z)
• Best-Effort Adaptation [62.00856290846247]
  本稿では, 試料再重み付け法に関する新しい理論的解析を行い, 試料再重み付け法を一様に保持する境界について述べる。 これらの境界が、我々が詳細に議論する学習アルゴリズムの設計を導く方法を示す。 本稿では,本アルゴリズムの有効性を実証する一連の実験結果について報告する。
  論文  参考訳（メタデータ） (2023-05-10T00:09:07Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Data-informed Deep Optimization [3.331457049134526]
  本稿では,データインフォームド・ディープ・最適化(DiDo)による高次元設計問題の解法を提案する。 我々は、ディープニューラルネットワーク(DNN)を用いて、実現可能な領域を学習し、目的関数に適合する実行可能なポイントをサンプリングする。 以上の結果から,DNN による DiDo のアプローチは柔軟で,現実的な高次元設計問題の解決に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-17T02:53:54Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference [23.97765106673937]
  我々は条件選択推論(SI)フレームワークを用いて、セグメンテーション結果の正確な(漸近的でない)p-値を計算する。 提案手法は, 偽陽性率の制御に成功し, 計算効率も良好であり, 医用画像データに適用した場合の良好な結果が得られる。
  論文  参考訳（メタデータ） (2020-10-05T07:16:40Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)
• Exponentially improved detection and correction of errors in experimental systems using neural networks [0.0]
  実験装置の実証モデルを作成するために,2つの機械学習アルゴリズムを導入する。 これにより、一般化最適化タスクに必要な測定回数を指数関数的に削減することができる。 イオントラップ内の成層電場の検出と補償を例に,両アルゴリズムを実証する。
  論文  参考訳（メタデータ） (2020-05-18T22:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。