論文の概要: What to Do When Your Discrete Optimization Is the Size of a Neural Network?

• arxiv url: http://arxiv.org/abs/2402.10339v1
• Date: Thu, 15 Feb 2024 21:57:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:21:59.310012
• Title: What to Do When Your Discrete Optimization Is the Size of a Neural Network?
• Title（参考訳）: 離散最適化がニューラルネットワークのサイズになるとき、どうすればいいのか?
• Authors: Hugo Silva and Martha White
• Abstract要約: ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
• 参考スコア（独自算出の注目度）: 24.546550334179486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oftentimes, machine learning applications using neural networks involve solving discrete optimization problems, such as in pruning, parameter-isolation-based continual learning and training of binary networks. Still, these discrete problems are combinatorial in nature and are also not amenable to gradient-based optimization. Additionally, classical approaches used in discrete settings do not scale well to large neural networks, forcing scientists and empiricists to rely on alternative methods. Among these, two main distinct sources of top-down information can be used to lead the model to good solutions: (1) extrapolating gradient information from points outside of the solution set (2) comparing evaluations between members of a subset of the valid solutions. We take continuation path (CP) methods to represent using purely the former and Monte Carlo (MC) methods to represent the latter, while also noting that some hybrid methods combine the two. The main goal of this work is to compare both approaches. For that purpose, we first overview the two classes while also discussing some of their drawbacks analytically. Then, on the experimental section, we compare their performance, starting with smaller microworld experiments, which allow more fine-grained control of problem variables, and gradually moving towards larger problems, including neural network regression and neural network pruning for image classification, where we additionally compare against magnitude-based pruning.
• Abstract（参考訳）: 多くの場合、ニューラルネットワークを使用する機械学習アプリケーションは、プルーニング、パラメータ分離に基づく連続学習、バイナリネットワークのトレーニングなど、離散的な最適化問題を解決する。 それでも、これらの離散問題は本質的に組合せ問題であり、勾配に基づく最適化には適さない。 さらに、離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークではうまくスケールしないため、科学者や経験家が別の方法に頼ることになる。 これらのうち、トップダウン情報の2つの主要な源は、モデルを良い解へと導くために使用できる: (1) 解集合の外から勾配情報を外挿する (2) 有効な解のサブセットのメンバー間の評価を比較する。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。 この作業の主な目標は、両方のアプローチを比較することです。 その目的のために,まず2つのクラスを概説し,その欠点を解析的に議論する。 実験では,よりきめ細かい問題変数の制御が可能な小型のマイクロワールド実験から始めて,画像分類のためのニューラルネットワーク回帰やニューラルネットワークプルーニングなど,より大きな問題へと徐々に移行し,さらにマグニチュードベースのプルーニングと比較する。

関連論文リスト

• The Unreasonable Effectiveness of Solving Inverse Problems with Neural Networks [24.766470360665647]
  逆問題に対する解を学ぶために訓練されたニューラルネットワークは、トレーニングセット上でも古典よりも優れた解を見つけることができることを示す。 高速な推論のために新しいデータに一般化するのではなく、既知のデータに対するより良い解決策を見つけるためにも使用できる。
  論文  参考訳（メタデータ） (2024-08-15T12:38:10Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
  我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。 ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。 ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
  論文  参考訳（メタデータ） (2020-05-28T15:34:10Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。