論文の概要: Amended Cross Entropy Cost: Framework For Explicit Diversity Encouragement

• arxiv url: http://arxiv.org/abs/2007.08140v1
• Date: Thu, 16 Jul 2020 06:50:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 22:50:17.320463
• Title: Amended Cross Entropy Cost: Framework For Explicit Diversity Encouragement
• Title（参考訳）: 修正されたクロスエントロピーコスト:明示的な多様性奨励のための枠組み
• Authors: Ron Shoham and Haim Permuter
• Abstract要約: クロスエントロピー(CE)は機械学習、特にニューラルネットワークにおいて重要な役割を果たす。 修正クロスエントロピー(ACE)と呼ばれる新しいコスト関数を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross Entropy (CE) has an important role in machine learning and, in particular, in neural networks. It is commonly used in neural networks as the cost between the known distribution of the label and the Softmax/Sigmoid output. In this paper we present a new cost function called the Amended Cross Entropy (ACE). Its novelty lies in its affording the capability to train multiple classifiers while explicitly controlling the diversity between them. We derived the new cost by mathematical analysis and "reverse engineering" of the way we wish the gradients to behave, and produced a tailor-made, elegant and intuitive cost function to achieve the desired result. This process is similar to the way that CE cost is picked as a cost function for the Softmax/Sigmoid classifiers for obtaining linear derivatives. By choosing the optimal diversity factor we produce an ensemble which yields better results than the vanilla one. We demonstrate two potential usages of this outcome, and present empirical results. Our method works for classification problems analogously to Negative Correlation Learning (NCL) for regression problems.
• Abstract（参考訳）: クロスエントロピー(cross entropy、ce)は、機械学習、特にニューラルネットワークにおいて重要な役割を担っている。 一般に、ラベルの既知の分布とSoftmax/Sigmoid出力の間のコストとしてニューラルネットワークで使用される。 本稿では,新しいコスト関数であるAmended Cross Entropy(ACE)を提案する。 その斬新さは、複数の分類器を訓練する能力と、それらの間の多様性を明示的に制御できることにある。 グラデーションの動作を希望する数学的解析と「リバースエンジニアリング」によって新たなコストを導出し,所望の結果を達成するためのテーラーメイド,エレガント,直感的なコスト関数を作成した。 このプロセスは、CEコストが線形微分を得るためのSoftmax/Sigmoid分類器のコスト関数として選択される方法に似ている。 最適な多様性係数を選択することで、バニラよりも良い結果をもたらすアンサンブルを生成する。 この結果の2つの潜在的利用例を示し、実証結果を示す。 本手法は回帰問題に対する負相関学習(NCL)と類似した分類問題に有効である。

関連論文リスト

• Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling [0.0]
  畳み込みニューラルネットワーク(CNN)はそのようなサロゲートモデルの基礎として人気を集めている。 本稿では,$d$次元問題と$d-1$次元近似の両方に対する数値解の混合によるCNN代理モデルのトレーニングを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2024-10-16T05:07:48Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
  我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
  論文  参考訳（メタデータ） (2021-03-22T05:19:40Z)
• Computational characteristics of feedforward neural networks for solving a stiff differential equation [0.0]
  減衰系をモデル化する単純だが基本的な常微分方程式の解について検討する。 パラメータやメソッドに対して好適な選択を特定できることを示す。 全体として、ニューラルネットワークアプローチによる信頼性と正確な結果を得るために何ができるかを示すことで、この分野の現在の文献を拡張します。
  論文  参考訳（メタデータ） (2020-12-03T12:22:24Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Unsupervised Learning of Solutions to Differential Equations with Generative Adversarial Networks [1.1470070927586016]
  本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。 差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
  論文  参考訳（メタデータ） (2020-07-21T23:36:36Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。