論文の概要: Neural Network Training and Non-Differentiable Objective Functions

• arxiv url: http://arxiv.org/abs/2305.02024v1
• Date: Wed, 3 May 2023 10:28:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 15:13:19.554680
• Title: Neural Network Training and Non-Differentiable Objective Functions
• Title（参考訳）: ニューラルネットワーク学習と識別不能目的関数
• Authors: Yash Patel
• Abstract要約: この論文は、非微分不可能目標と訓練損失関数のギャップを埋めることに4つの主要な貢献をする。 この論文の貢献により、ニューラルネットワークのトレーニングがよりスケーラブルになる。
• 参考スコア（独自算出の注目度）: 2.3351527694849574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many important computer vision tasks are naturally formulated to have a non-differentiable objective. Therefore, the standard, dominant training procedure of a neural network is not applicable since back-propagation requires the gradients of the objective with respect to the output of the model. Most deep learning methods side-step the problem sub-optimally by using a proxy loss for training, which was originally designed for another task and is not tailored to the specifics of the objective. The proxy loss functions may or may not align well with the original non-differentiable objective. An appropriate proxy has to be designed for a novel task, which may not be feasible for a non-specialist. This thesis makes four main contributions toward bridging the gap between the non-differentiable objective and the training loss function. Throughout the thesis, we refer to a loss function as a surrogate loss if it is a differentiable approximation of the non-differentiable objective. Note that we use the terms objective and evaluation metric interchangeably. The contributions of this thesis make the training of neural networks more scalable -- to new tasks in a nearly labor-free manner when the evaluation metric is decomposable, which will help researchers with novel tasks. For non-decomposable evaluation metrics, the differentiable components developed for the recall@k surrogate, such as sorting and counting, can also be used for creating new surrogates.
• Abstract（参考訳）: 多くの重要なコンピュータビジョンタスクは、自然に微分不能な目的を持つように定式化されている。 したがって、バックプロパゲーションはモデルの出力に対する目的の勾配を必要とするため、ニューラルネットワークの標準的な支配的なトレーニング手順は適用できない。 ほとんどのディープラーニング手法は、元々は別のタスク用に設計され、目的の具体例に合わせたものではない、訓練にプロキシ損失を使用することで、問題を副次的に解決する。 プロキシ損失関数は、元の微分不可能な目的とうまく一致しているかもしれない。 適切なプロキシは、非専門家にとって実現不可能な、新しいタスクのために設計されなければなりません。 本論文は,非微分目標とトレーニング損失関数のギャップを埋めるための4つの主要な貢献を述べる。 論文全体を通して、損失関数を、それが微分不可能な目的の微分可能近似である場合の代理損失とみなす。 客観性と評価基準を相互に使用することに注意。 この論文のコントリビューションにより、ニューラルネットワークのトレーニングがよりスケーラブルになり -- 評価基準が分解可能な場合、ほぼ労働力のない方法で新しいタスクに移行し、研究者が新しいタスクをこなすのに役立つ。 非分解性評価メトリクスでは、ソートやカウントといったrecall@kサーロゲート用に開発された微分可能なコンポーネントも、新しいサーロゲートの作成に使用できる。

関連論文リスト

• A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification [46.884905701771004]
  そのような非絡み合った表現に対する主な応用の1つは、公平な分類である。 我々は、この問題の情報理論的視点を採用し、レギュレータの新しいファミリーを動機付けている。 結果として得られた損失はCLINICと呼ばれ、パラメータフリーである。
  論文  参考訳（メタデータ） (2023-10-21T12:35:48Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Relational Surrogate Loss Learning [41.61184221367546]
  本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
  論文  参考訳（メタデータ） (2022-02-26T17:32:57Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Learning Curves for Sequential Training of Neural Networks: Self-Knowledge Transfer and Forgetting [9.734033555407406]
  我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。 モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。 同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
  論文  参考訳（メタデータ） (2021-12-03T00:25:01Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Anti-Transfer Learning for Task Invariance in Convolutional Neural Networks for Speech Processing [6.376852004129252]
  本稿では,畳み込みニューラルネットワークを用いた音声処理におけるアンチトランスファー学習の概念を紹介する。 提案手法は, 実際にタスクに対する意図的不変性や, 対象タスクに対してより適切な機能に導かれることを示す。
  論文  参考訳（メタデータ） (2020-06-11T15:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。