論文の概要: On the Dataless Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2510.25962v1
• Date: Wed, 29 Oct 2025 21:01:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.571995
• Title: On the Dataless Training of Neural Networks
• Title（参考訳）: ニューラルネットワークのデータレストレーニングについて
• Authors: Alvaro Velasquez, Susmit Jha, Ismail R. Alkhouri,
• Abstract要約: 本稿では,トレーニングデータフリー環境でのニューラルネットワークの最適化について検討する。 データレス設定を定義し、単一インスタンスで定義された問題をニューラルネットワークにエンコードする方法に基づいて、それを2つの変種に分類する。
• 参考スコア（独自算出の注目度）: 14.94642674670468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper surveys studies on the use of neural networks for optimization in the training-data-free setting. Specifically, we examine the dataless application of neural network architectures in optimization by re-parameterizing problems using fully connected (or MLP), convolutional, graph, and quadratic neural networks. Although MLPs have been used to solve linear programs a few decades ago, this approach has recently gained increasing attention due to its promising results across diverse applications, including those based on combinatorial optimization, inverse problems, and partial differential equations. The motivation for this setting stems from two key (possibly over-lapping) factors: (i) data-driven learning approaches are still underdeveloped and have yet to demonstrate strong results, as seen in combinatorial optimization, and (ii) the availability of training data is inherently limited, such as in medical image reconstruction and other scientific applications. In this paper, we define the dataless setting and categorize it into two variants based on how a problem instance -- defined by a single datum -- is encoded onto the neural network: (i) architecture-agnostic methods and (ii) architecture-specific methods. Additionally, we discuss similarities and clarify distinctions between the dataless neural network (dNN) settings and related concepts such as zero-shot learning, one-shot learning, lifting in optimization, and over-parameterization.
• Abstract（参考訳）: 本稿では,トレーニングデータフリー環境でのニューラルネットワークの最適化について検討する。 具体的には、完全連結(またはMLP)、畳み込み、グラフ、二次ニューラルネットワークを用いて問題を再パラメータ化することで、最適化におけるニューラルネットワークアーキテクチャのデータレス応用について検討する。 MLPは、数十年前に線形プログラムの解法として使われてきたが、近年、組合せ最適化、逆問題、偏微分方程式など、様々な応用において有望な結果が得られたため、注目度が高まっている。 この設定の動機は、2つのキー(おそらくオーバーラップ)要素から来ています。 (i)データ駆動学習アプローチはまだ未開発であり、組合せ最適化に見られるような強力な結果を示していない。 (II) 医用画像再構成やその他の科学的応用など、トレーニングデータの入手は本質的に制限されている。 本稿では、データレス設定を定義し、問題インスタンス(単一ダタムで定義される)がニューラルネットワークにエンコードされる方法に基づいて、それを2つの変種に分類する。 一 建築によらない方法及び方法 (ii) アーキテクチャ固有の方法。 さらに,データレスニューラルネットワーク(dNN)設定とゼロショット学習,ワンショット学習,ゲーミング・イン・オプティマイゼーション,オーバーパラメータ化といった関連する概念との類似性や相違点についても論じる。

関連論文リスト

• What to Do When Your Discrete Optimization Is the Size of a Neural Network? [24.546550334179486]
  ニューラルネットワークを用いた機械学習アプリケーションは、離散最適化問題を解くことを含む。 離散的な設定で使用される古典的なアプローチは、大きなニューラルネットワークに対してうまくスケールしない。 連続経路(CP)法は,前者およびモンテカルロ法(MC)法を純粋に表現し,後者を表現している。
  論文  参考訳（メタデータ） (2024-02-15T21:57:43Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Differentiable Approach to Combinatorial Optimization using Dataless Neural Networks [20.170140039052455]
  我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。 特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
  論文  参考訳（メタデータ） (2022-03-15T19:21:31Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
  勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。 その結果,提案手法は勾配法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-06T11:12:23Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。