論文の概要: Effect of Choosing Loss Function when Using T-batching for
Representation Learning on Dynamic Networks
- arxiv url: http://arxiv.org/abs/2308.06862v1
- Date: Sun, 13 Aug 2023 23:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 14:55:22.370558
- Title: Effect of Choosing Loss Function when Using T-batching for
Representation Learning on Dynamic Networks
- Title（参考訳）: t-batchingを用いた動的ネットワーク表現学習における損失関数選択の効果
- Authors: Erfan Loghmani, MohammadAmin Fazli
- Abstract要約: Tバッチは動的ネットワークモデルをトレーニングする上で貴重なテクニックである。
t-batchingで使用する訓練損失関数の制限について検討した。
これらの問題を克服する2つの代替損失関数を提案し、結果としてトレーニング性能が向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Representation learning methods have revolutionized machine learning on
networks by converting discrete network structures into continuous domains.
However, dynamic networks that evolve over time pose new challenges. To address
this, dynamic representation learning methods have gained attention, offering
benefits like reduced learning time and improved accuracy by utilizing temporal
information.
T-batching is a valuable technique for training dynamic network models that
reduces training time while preserving vital conditions for accurate modeling.
However, we have identified a limitation in the training loss function used
with t-batching. Through mathematical analysis, we propose two alternative loss
functions that overcome these issues, resulting in enhanced training
performance.
We extensively evaluate the proposed loss functions on synthetic and
real-world dynamic networks. The results consistently demonstrate superior
performance compared to the original loss function. Notably, in a real-world
network characterized by diverse user interaction histories, the proposed loss
functions achieved more than 26.9% enhancement in Mean Reciprocal Rank (MRR)
and more than 11.8% improvement in Recall@10. These findings underscore the
efficacy of the proposed loss functions in dynamic network modeling.
- Abstract（参考訳）: 表現学習法は、離散的なネットワーク構造を連続したドメインに変換することによって、ネットワーク上の機械学習に革命をもたらした。
しかし、時間とともに進化する動的ネットワークは新たな課題をもたらす。
これに対処するために,動的表現学習手法が注目され,時間情報を利用した学習時間の短縮や精度の向上といったメリットが期待されている。
t-batchingは、正確なモデリングのために重要な条件を維持しながらトレーニング時間を短縮する、動的ネットワークモデルのトレーニングに有用なテクニックである。
しかし, t-batchingでは, トレーニング損失関数の制限が認められた。
数学的解析により、これらの問題を克服する2つの代替損失関数を提案し、結果としてトレーニング性能が向上する。
提案する損失関数を合成および実世界の動的ネットワーク上で広範囲に評価する。
その結果,元の損失関数よりも優れた性能を示した。
特に、多様なユーザインタラクション履歴を特徴とする実世界のネットワークでは、提案する損失関数は平均相互ランク(mrr)が26.9%以上向上し、recall@10が11.8%向上した。
これらの結果は動的ネットワークモデリングにおける損失関数の有効性を裏付けるものである。
関連論文リスト
- Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。
異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
論文 参考訳（メタデータ） (2024-10-14T16:27:03Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T10:26:18Z) - On the weight dynamics of learning networks [0.0]
回帰タスクを学習する3層ネットワークの学習力学のタンジェント演算子について方程式を導出する。
その結果を回帰課題を学習するネットワークに適用し、安定性指標が最終訓練損失とどのように関係するかを数値的に検討する。
論文 参考訳（メタデータ） (2024-04-30T06:12:21Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Online Loss Function Learning [13.744076477599707]
ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。
基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-30T19:22:46Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳（メタデータ） (2022-05-26T19:01:19Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳（メタデータ） (2020-03-02T18:27:35Z) - Cooperative Initialization based Deep Neural Network Training [35.14235994478142]
本手法では,ネットワークのトレーニング中に,全ての重みパラメータの更新に複数のアクティベーション関数を用いる。
提案手法は,様々なベースラインに優れ,同時に分類や検出など,さまざまなタスクに対して優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-01-05T14:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。