論文の概要: Score-Based Methods for Discrete Optimization in Deep Learning

• arxiv url: http://arxiv.org/abs/2310.09890v1
• Date: Sun, 15 Oct 2023 17:14:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 17:29:26.108717
• Title: Score-Based Methods for Discrete Optimization in Deep Learning
• Title（参考訳）: 深層学習における離散最適化のためのスコアベース手法
• Authors: Eric Lei, Arman Adibi, Hamed Hassani
• Abstract要約: このような問題を解決するためのスコアベース近似フレームワークについて検討する。 逆集合分類タスクにおいて,本手法は,手法に比べて速度と解の質において優れたトレードオフを達成できることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 30.446056972242616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete optimization problems often arise in deep learning tasks, despite the fact that neural networks typically operate on continuous data. One class of these problems involve objective functions which depend on neural networks, but optimization variables which are discrete. Although the discrete optimization literature provides efficient algorithms, they are still impractical in these settings due to the high cost of an objective function evaluation, which involves a neural network forward-pass. In particular, they require $O(n)$ complexity per iteration, but real data such as point clouds have values of $n$ in thousands or more. In this paper, we investigate a score-based approximation framework to solve such problems. This framework uses a score function as a proxy for the marginal gain of the objective, leveraging embeddings of the discrete variables and speed of auto-differentiation frameworks to compute backward-passes in parallel. We experimentally demonstrate, in adversarial set classification tasks, that our method achieves a superior trade-off in terms of speed and solution quality compared to heuristic methods.
• Abstract（参考訳）: ニューラルネットワークが通常連続データ上で動作しているにもかかわらず、離散最適化問題はディープラーニングタスクでしばしば発生する。 これらの問題の1つのクラスは、ニューラルネットワークに依存する客観的関数であるが、最適化変数は離散である。 離散最適化文献は効率的なアルゴリズムを提供するが、ニューラルネットワークのフォワードパスを含む客観的関数評価のコストが高いため、これらの設定ではまだ実用的ではない。 特に、イテレーション毎に$o(n)$の複雑さを必要とするが、ポイントクラウドのような実際のデータは、数千ドル以上の値を持っている。 本稿では,このような問題を解決するためのスコアベース近似フレームワークについて検討する。 このフレームワークは、目標の限界ゲインのプロキシとしてスコア関数を使用し、離散変数の埋め込みと自動微分フレームワークの速度を利用して、並列に後方通過を計算する。 逆集合分類タスクにおいて,本手法がヒューリスティック法に比べて速度と解品質の面で優れたトレードオフを達成することを実験的に証明した。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Multilevel Objective-Function-Free Optimization with an Application to Neural Networks Training [0.0]
  制約のない非線形最適化のためのマルチレベルアルゴリズムのクラスを示す。 目的関数の評価を避けるという選択は、アルゴリズムをノイズに敏感にすることを目的としている。 これらのアルゴリズムの評価複雑性を解析し,ノイズの存在下での挙動を示す。
  論文  参考訳（メタデータ） (2023-02-14T14:03:22Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Training Neural Networks using SAT solvers [1.0152838128195465]
  本稿では,SATソルバを用いてニューラルネットワークのトレーニングを行うグローバル最適化手法を提案する。 実験では,パリティ学習などのタスクにおいて,ADAMオプティマイザに対するアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2022-06-10T01:31:12Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• A Sparse Structure Learning Algorithm for Bayesian Network Identification from Discrete High-Dimensional Data [0.40611352512781856]
  本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。 本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。 具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
  論文  参考訳（メタデータ） (2021-08-21T12:21:01Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。