Fugu-MT 論文翻訳(概要): Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding

論文の概要: Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding

arxiv url: http://arxiv.org/abs/2106.07250v1
Date: Mon, 14 Jun 2021 09:07:02 GMT
ステータス: 処理完了
システム内更新日: 2021-06-15 16:39:35.155995
Title: Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Title（参考訳）: ソフトマックスのクロスエントロピーと負サンプリングの統一解釈:知識グラフ埋め込みを事例として
Authors: Hidetaka Kamigaito, Katsuhiko Hayashi
Abstract要約: 我々はブレグマン偏差を用いて、ソフトマックスのクロスエントロピーと負のサンプリング損失関数の統一的な解釈を提供する。 FB15k-237とWN18RRのデータセットによる実験結果は、理論的な発見が実用的な設定で有効であることを示している。
参考スコア（独自算出の注目度）: 15.687010152728218
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In knowledge graph embedding, the theoretical relationship between the softmax cross-entropy and negative sampling loss functions has not been investigated. This makes it difficult to fairly compare the results of the two different loss functions. We attempted to solve this problem by using the Bregman divergence to provide a unified interpretation of the softmax cross-entropy and negative sampling loss functions. Under this interpretation, we can derive theoretical findings for fair comparison. Experimental results on the FB15k-237 and WN18RR datasets show that the theoretical findings are valid in practical settings.
Abstract（参考訳）: 知識グラフ埋め込みでは、ソフトマックスクロスエントロピーと負サンプリング損失関数の理論的関係は研究されていない。これにより、2つの異なる損失関数の結果を正確に比較することは困難である。本研究では,bregman divergenceを用いて,ソフトマックスクロスエントロピーと負サンプリング損失関数の統一解釈を試みた。この解釈の下では、公正な比較のための理論的発見を導き出すことができる。 FB15k-237とWN18RRのデータセットによる実験結果は、理論的な発見が実用的な設定で有効であることを示している。

関連論文リスト

Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文参考訳（メタデータ） (2024-03-18T17:08:24Z)
Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文参考訳（メタデータ） (2023-05-23T12:20:29Z)
Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文参考訳（メタデータ） (2023-04-14T17:58:23Z)
On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。エルゴード理論の力学系に基づく新しい視点を提案する。
論文参考訳（メタデータ） (2021-10-12T18:12:23Z)
Sharp Learning Bounds for Contrastive Unsupervised Representation Learning [4.017760528208122]
本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
論文参考訳（メタデータ） (2021-10-06T04:29:39Z)
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels [4.340338299803562]
ラベルノイズ下で学習するためのJensen-Shannon発散に基づく2つの新しい損失関数を提案する。合成ノイズ(CIFAR)と実雑音(WebVision)の両方を用いて広範かつ系統的な実験を行う。
論文参考訳（メタデータ） (2021-05-10T17:19:38Z)
Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
ハードマイナスの役割を理解するための分析ツールを開発した。テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
論文参考訳（メタデータ） (2021-04-13T14:42:41Z)
Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-28T11:07:59Z)
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文参考訳（メタデータ） (2020-07-12T17:45:24Z)
Comment on "Relaxation theory for perturbed many-body quantum systems versus numerics and experiment" [0.0]
この不一致は、実験で測定された準局所観測可能値がハーモニックトラップ電位に影響されているためである、と私は主張する。並列時間進化ブロックデミネーションアルゴリズムを用いて計算した準エクサクサクタ数値による主張を支持する。
論文参考訳（メタデータ） (2020-05-06T09:29:41Z)
Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。広い損失関数族に対する領域適応のための新しい一般化境界を導出する。また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
論文参考訳（メタデータ） (2009-02-19T18:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。