論文の概要: Learning with Algorithmic Supervision via Continuous Relaxations
- arxiv url: http://arxiv.org/abs/2110.05651v1
- Date: Mon, 11 Oct 2021 23:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 13:12:18.171923
- Title: Learning with Algorithmic Supervision via Continuous Relaxations
- Title（参考訳）: 連続緩和によるアルゴリズム指導による学習
- Authors: Felix Petersen, Christian Borgelt, Hilde Kuehne, Oliver Deussen
- Abstract要約: エンドツーエンドのトレーニング可能なニューラルネットワークアーキテクチャにアルゴリズムを統合するアプローチを提案する。
有意義な勾配を得るために、各変数はロジスティック分布を介して摂動される。
提案した連続緩和モデルを4つの課題に対して評価し,各課題に特化して設計された緩和に追従できることを示す。
- 参考スコア（独自算出の注目度）: 19.437400671428737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of algorithmic components into neural architectures has
gained increased attention recently, as it allows training neural networks with
new forms of supervision such as ordering constraints or silhouettes instead of
using ground truth labels. Many approaches in the field focus on the continuous
relaxation of a specific task and show promising results in this context. But
the focus on single tasks also limits the applicability of the proposed
concepts to a narrow range of applications. In this work, we build on those
ideas to propose an approach that allows to integrate algorithms into
end-to-end trainable neural network architectures based on a general
approximation of discrete conditions. To this end, we relax these conditions in
control structures such as conditional statements, loops, and indexing, so that
resulting algorithms are smoothly differentiable. To obtain meaningful
gradients, each relevant variable is perturbed via logistic distributions and
the expectation value under this perturbation is approximated. We evaluate the
proposed continuous relaxation model on four challenging tasks and show that it
can keep up with relaxations specifically designed for each individual task.
- Abstract（参考訳）: アルゴリズムコンポーネントのニューラルネットワークへの統合は、基底の真理ラベルではなく、制約やシルエットを順序付けするといった新しい形式のニューラルネットワークのトレーニングを可能にするため、近年注目を集めている。
この分野の多くのアプローチは、特定のタスクの連続的な緩和に焦点を当て、この文脈で有望な結果を示す。
しかし、単一タスクにフォーカスすることは、提案する概念を狭い範囲のアプリケーションに適用する可能性を制限する。
本研究では、これらのアイデアに基づいて、離散条件の一般的な近似に基づいて、アルゴリズムをエンドツーエンドのトレーニング可能なニューラルネットワークアーキテクチャに統合できるアプローチを提案する。
この目的のために、条件文、ループ、インデックス化などの制御構造におけるこれらの条件を緩和し、結果のアルゴリズムを滑らかに微分できるようにする。
有意義な勾配を得るために、各変数はロジスティック分布を介して摂動し、この摂動下の期待値は近似される。
提案する4つの課題に対する連続緩和モデルを評価し,各タスク用に特別に設計された緩和に追従できることを示す。
関連論文リスト
- Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - Discrete Neural Algorithmic Reasoning [18.497863598167257]
本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
論文 参考訳（メタデータ） (2024-02-18T16:03:04Z) - Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳（メタデータ） (2023-12-28T18:44:32Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳（メタデータ） (2022-11-01T03:20:28Z) - Learning for Integer-Constrained Optimization through Neural Networks
with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。
整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。
提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文 参考訳（メタデータ） (2020-11-10T21:17:07Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳（メタデータ） (2020-07-03T15:19:17Z) - A Shooting Formulation of Deep Learning [19.51427735087011]
本稿では,ネットワーク層ごとのパラメータ化から,最適ネットワーク上でのパラメータ化へと視点を転換するシューティング定式化を提案する。
拡張性のために,連続深度ニューラルネットワークの最適重み軌跡を同定する新しい粒子アンサンブルパラメトリゼーションを提案する。
論文 参考訳（メタデータ） (2020-06-18T07:36:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。