論文の概要: Optimizers Qualitatively Alter Solutions And We Should Leverage This

• arxiv url: http://arxiv.org/abs/2507.12224v1
• Date: Wed, 16 Jul 2025 13:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.405198
• Title: Optimizers Qualitatively Alter Solutions And We Should Leverage This
• Title（参考訳）: Optimizersの定性的なソリューションは、これを活用するべきだ
• Authors: Razvan Pascanu, Clare Lyle, Ionut-Vlad Modoranu, Naima Elosegui Borras, Dan Alistarh, Petar Velickovic, Sarath Chandar, Soham De, James Martens,
• Abstract要約: ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
• 参考スコア（独自算出の注目度）: 62.662640460717476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the nonlinear nature of Deep Neural Networks (DNNs), one can not guarantee convergence to a unique global minimum of the loss when using optimizers relying only on local information, such as SGD. Indeed, this was a primary source of skepticism regarding the feasibility of DNNs in the early days of the field. The past decades of progress in deep learning have revealed this skepticism to be misplaced, and a large body of empirical evidence shows that sufficiently large DNNs following standard training protocols exhibit well-behaved optimization dynamics that converge to performant solutions. This success has biased the community to use convex optimization as a mental model for learning, leading to a focus on training efficiency, either in terms of required iteration, FLOPs or wall-clock time, when improving optimizers. We argue that, while this perspective has proven extremely fruitful, another perspective specific to DNNs has received considerably less attention: the optimizer not only influences the rate of convergence, but also the qualitative properties of the learned solutions. Restated, the optimizer can and will encode inductive biases and change the effective expressivity of a given class of models. Furthermore, we believe the optimizer can be an effective way of encoding desiderata in the learning process. We contend that the community should aim at understanding the biases of already existing methods, as well as aim to build new optimizers with the explicit intent of inducing certain properties of the solution, rather than solely judging them based on their convergence rates. We hope our arguments will inspire research to improve our understanding of how the learning process can impact the type of solution we converge to, and lead to a greater recognition of optimizers design as a critical lever that complements the roles of architecture and data in shaping model outcomes.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の非線形性のため、SGDのようなローカル情報のみに依存するオプティマイザを使用する場合、損失のグローバルな最小限に収束することが保証できない。 実際、これはこの分野の初期におけるDNNの実現可能性に関する懐疑論の主要な源であった。 過去数十年にわたるディープラーニングの進歩により、この懐疑論は誤りであることが判明し、多くの実証的な証拠が、標準的なトレーニングプロトコルに従って十分に大きなDNNが、高性能なソリューションに収束する優れた最適化のダイナミクスを示すことを示している。 この成功は、コミュニティに、学習のためのメンタルモデルとして凸最適化を使用することを偏見させ、最適化の改善において、必要なイテレーション、FLOP、ウォールクロックのいずれにおいても、トレーニング効率に重点を置いている。 我々は、この観点は極めて実りあることが証明されているが、DNNに特有の別の視点は、はるかに少ない注意を払っている:最適化は収束率だけでなく、学習された解の質的な性質にも影響を及ぼす。 再帰すると、オプティマイザは帰納バイアスを符号化し、与えられたクラスのモデルの効果的な表現性を変更することができる。 さらに,学習過程において,デシラタを符号化する効果的な方法としてオプティマイザが有効であると考えている。 コミュニティは、既存の手法のバイアスを理解することを目的としていると同時に、ソリューションの特定の特性を単に収束率に基づいて判断するのではなく、ソリューションの特定の特性を誘発するという明示的な意図で、新しいオプティマイザを構築することを目的としている、と我々は主張する。 私たちの議論は、学習プロセスが私たちが収束するソリューションの種類にどのように影響するかを理解するために研究を刺激し、モデル結果を形成する上でアーキテクチャとデータの役割を補完する重要なレバーとしてオプティマイザ設計がより深く認識されることを期待しています。

関連論文リスト

• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization [30.689032197123755]
  本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。 未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
  論文  参考訳（メタデータ） (2024-01-04T01:32:50Z)
• Fast & Fair: Efficient Second-Order Robust Optimization for Fairness in Machine Learning [0.0]
  本研究は、より公平なディープニューラルネットワーク(DNN)を開発するための敵の訓練手法を探求する。 DNNは、人種や性別などのセンシティブな属性に対する偏見を継承する可能性があるため、人生を変える結果につながる可能性がある。 本稿では,複数のデータセットの公平性を向上できるロバストな最適化問題を提案する。
  論文  参考訳（メタデータ） (2024-01-04T01:02:55Z)
• Unsupervised Learning for Combinatorial Optimization Needs Meta-Learning [14.86600327306136]
  最適化のための教師なし学習(CO)の一般的なフレームワークは、出力がCOの目的を直接最適化することで問題解決をもたらすニューラルネットワーク(NN)を訓練することである。 本研究では,COにおける教師なし学習の新たな目的について提案する。この学習の目的は,直接的な解決策を与えるのではなく,将来の問題インスタンスの優れた初期化を探すことである。 微調整前のモデルが与える初期解だけでも, 様々な評価条件下では, ベースラインを著しく上回る結果が得られます。
  論文  参考訳（メタデータ） (2023-01-08T22:14:59Z)
• Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
  オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。 オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。 本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
  論文  参考訳（メタデータ） (2022-11-21T11:01:37Z)
• DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
  形状最適化に適した不確実性に基づく新しい手法を提案する。 効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• Persistent Neurons [4.061135251278187]
  本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。 永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。 完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-07-02T22:36:49Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。