Fugu-MT 論文翻訳(概要): T-Norms Driven Loss Functions for Machine Learning

論文の概要: T-Norms Driven Loss Functions for Machine Learning

arxiv url: http://arxiv.org/abs/1907.11468v5
Date: Wed, 15 Feb 2023 08:41:59 GMT
ステータス: 処理完了
システム内更新日: 2023-03-25 04:22:36.028064
Title: T-Norms Driven Loss Functions for Machine Learning
Title（参考訳）: T-Normsによる機械学習の損失関数
Authors: Giuseppe Marra, Francesco Giannini, Michelangelo Diligenti, Marco Maggini and Marco Gori
Abstract要約: ニューラルシンボリックアプローチのクラスは、事前の知識を表現するための一階述語論理に基づいている。本稿では,これらのニューラルシンボリック学習タスクを表現する損失関数を曖昧に決定できることを示す。
参考スコア（独自算出の注目度）: 19.569025323453257
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural-symbolic approaches have recently gained popularity to inject prior knowledge into a learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neural-symbolic approaches is based on First-Order Logic to represent prior knowledge, relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neural-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, which has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. However, the proposed learning formulation extends the advantages of the cross-entropy loss to the general knowledge that can be represented by a neural-symbolic method. Therefore, the methodology allows the development of a novel class of loss functions, which are shown in the experimental results to lead to faster convergence rates than the approaches previously proposed in the literature.
Abstract（参考訳）: ニューラルシンボリックアプローチは、この知識をデータから導き出すことなく、学習者に事前知識を注入することが最近人気を集めている。これらのアプローチは、教師付きデータの量を大幅に削減した競合ソリューションを学習する可能性がある。ニューラルシンボリックアプローチの大きなクラスは、事前知識を表す一階述語論理に基づいており、ファジィ論理を用いて微分可能な形式に緩和される。本稿では、t-ノルム生成器の選択により、これらのニューラルシンボリック学習タスクを表現する損失関数を曖昧に決定できることを示す。教師付き学習に制限された場合、提案された理論装置は一般的なクロスエントロピー損失をきれいに正当化し、より高速な収束と、非常に深い構造における消滅する勾配問題を低減することが示されている。しかし,提案する学習定式化は,交叉エントロピー損失の利点を,ニューラルシンボリック法で表現できる一般的な知識にまで拡張する。したがって、この手法は、実験結果に示されている新しい種類の損失関数の開発を可能にし、文献で提案されたアプローチよりも高速な収束率をもたらす。

関連論文リスト

Learning Differentiable Surrogate Losses for Structured Prediction [23.15754467559003]
本稿では,ニューラルネットワークによってパラメータ化された構造化損失関数を,出力トレーニングデータから直接学習する新しいフレームワークを提案する。結果として、微分可能な損失は、サロゲート空間の有限次元によるニューラルネットワークの学習を可能にするだけでなく、出力データの新しい構造を予測できる。
論文参考訳（メタデータ） (2024-11-18T16:07:47Z)
Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文参考訳（メタデータ） (2024-02-21T15:51:01Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文参考訳（メタデータ） (2023-10-08T12:33:42Z)
Injecting Logical Constraints into Neural Networks via Straight-Through Estimators [5.6613898352023515]
ニューラルネットワーク学習に離散的な論理的制約を注入することは、ニューロシンボリックAIにおける大きな課題の1つだ。ニューラルネットワークの学習に論理的制約を組み込むために、バイナリニューラルネットワークをトレーニングするために導入されたストレートスルー推定器が効果的に適用できることがわかった。
論文参考訳（メタデータ） (2023-07-10T05:12:05Z)
Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Reduced Implication-bias Logic Loss for Neuro-Symbolic Learning [11.343715006460577]
異なる演算子は、バックプロパゲーション中に有意なバイアスをもたらし、ニューロ・シンボリック学習の性能を低下させる可能性がある。本稿では,バイアス付き損失関数をtextitReduced Implication-bias Logic Loss に変換する方法を提案する。経験的研究により、RILLはバイアスド論理損失関数よりも大幅に改善できることが示された。
論文参考訳（メタデータ） (2022-08-14T11:57:46Z)
Early Stage Convergence and Global Convergence of Training Mildly Parameterized Neural Networks [3.148524502470734]
トレーニングの初期段階において,損失はかなりの量減少し,この減少は急速に進行することを示す。我々は、ニューロンの活性化パターンを顕微鏡で解析し、勾配のより強力な下界を導出するのに役立つ。
論文参考訳（メタデータ） (2022-06-05T09:56:50Z)
Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
論文参考訳（メタデータ） (2021-06-09T15:46:17Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文参考訳（メタデータ） (2020-10-02T15:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。