Fugu-MT 論文翻訳(概要): Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding

論文の概要: Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding

arxiv url: http://arxiv.org/abs/2106.07250v1
Date: Mon, 14 Jun 2021 09:07:02 GMT
ステータス: 翻訳完了
システム内更新日: 2021-06-15 16:39:35.155995
Title: Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Title（参考訳）: ソフトマックスのクロスエントロピーと負サンプリングの統一解釈:知識グラフ埋め込みを事例として
Authors: Hidetaka Kamigaito, Katsuhiko Hayashi
Abstract要約: 我々はブレグマン偏差を用いて、ソフトマックスのクロスエントロピーと負のサンプリング損失関数の統一的な解釈を提供する。 FB15k-237とWN18RRのデータセットによる実験結果は、理論的な発見が実用的な設定で有効であることを示している。
参考スコア（独自算出の注目度）: 15.687010152728218
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In knowledge graph embedding, the theoretical relationship between the softmax cross-entropy and negative sampling loss functions has not been investigated. This makes it difficult to fairly compare the results of the two different loss functions. We attempted to solve this problem by using the Bregman divergence to provide a unified interpretation of the softmax cross-entropy and negative sampling loss functions. Under this interpretation, we can derive theoretical findings for fair comparison. Experimental results on the FB15k-237 and WN18RR datasets show that the theoretical findings are valid in practical settings.
Abstract（参考訳）: 知識グラフ埋め込みでは、ソフトマックスクロスエントロピーと負サンプリング損失関数の理論的関係は研究されていない。これにより、2つの異なる損失関数の結果を正確に比較することは困難である。本研究では,bregman divergenceを用いて,ソフトマックスクロスエントロピーと負サンプリング損失関数の統一解釈を試みた。この解釈の下では、公正な比較のための理論的発見を導き出すことができる。 FB15k-237とWN18RRのデータセットによる実験結果は、理論的な発見が実用的な設定で有効であることを示している。

関連論文リスト

Causal Graph Learning via Distributional Invariance of Cause-Effect Relationship [54.575090553659074]
本研究では,観測変数数の2次複雑性と因果関係を効率的に発見するアルゴリズムを開発した。大規模データセットの様々なベンチマークによる実験は、既存の研究よりも優れた、あるいは同等な性能を示している。
論文参考訳（メタデータ） (2026-02-03T10:26:16Z)
Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss [91.61796429377041]
ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
論文参考訳（メタデータ） (2026-01-30T09:24:52Z)
Variation-Bounded Loss for Noise-Tolerant Learning [105.20373602308284]
本稿では,損失関数のロバスト性に関連する新しい特性として,変分比を導入する。本稿では,有界変動比を特徴とする,ロバストな損失関数である変分境界損失(VBL)を新たに提案する。
論文参考訳（メタデータ） (2025-11-15T10:15:29Z)
Comparing Contrastive and Triplet Loss: Variance Analysis and Optimization Behavior [2.608092703580602]
3重項の損失はクラス内およびクラス間の大きな分散を保ち、学習された表現においてよりきめ細かい区別をサポートすることを示す。対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。対照的な損失が多くの小さな更新を早期に引き起こすのに対して、トリプルト損失はより少ないがより強力な更新を発生させ、ハードな例での学習を持続させる。
論文参考訳（メタデータ） (2025-10-02T16:11:46Z)
Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文参考訳（メタデータ） (2024-03-18T17:08:24Z)
Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文参考訳（メタデータ） (2023-05-23T12:20:29Z)
Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文参考訳（メタデータ） (2023-04-14T17:58:23Z)
On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。エルゴード理論の力学系に基づく新しい視点を提案する。
論文参考訳（メタデータ） (2021-10-12T18:12:23Z)
Sharp Learning Bounds for Contrastive Unsupervised Representation Learning [4.017760528208122]
本研究は, 負のサンプルサイズにおいて, 厳密なインターセプトに縛られた下流の分類損失を確定する。下流損失推定器としての対照的な損失について、我々の理論は既存の学習限界を大幅に改善する。我々は、我々の理論が合成、視覚、言語データセットに関する実験と一致していることを検証する。
論文参考訳（メタデータ） (2021-10-06T04:29:39Z)
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels [4.340338299803562]
ラベルノイズ下で学習するためのJensen-Shannon発散に基づく2つの新しい損失関数を提案する。合成ノイズ(CIFAR)と実雑音(WebVision)の両方を用いて広範かつ系統的な実験を行う。
論文参考訳（メタデータ） (2021-05-10T17:19:38Z)
Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
ハードマイナスの役割を理解するための分析ツールを開発した。テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
論文参考訳（メタデータ） (2021-04-13T14:42:41Z)
Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-28T11:07:59Z)
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文参考訳（メタデータ） (2020-07-12T17:45:24Z)
Comment on "Relaxation theory for perturbed many-body quantum systems versus numerics and experiment" [0.0]
この不一致は、実験で測定された準局所観測可能値がハーモニックトラップ電位に影響されているためである、と私は主張する。並列時間進化ブロックデミネーションアルゴリズムを用いて計算した準エクサクサクタ数値による主張を支持する。
論文参考訳（メタデータ） (2020-05-06T09:29:41Z)
Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。広い損失関数族に対する領域適応のための新しい一般化境界を導出する。また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
論文参考訳（メタデータ） (2009-02-19T18:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。