論文の概要: Conditional Temporal Neural Processes with Covariance Loss
- arxiv url: http://arxiv.org/abs/2504.00794v1
- Date: Tue, 01 Apr 2025 13:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:24:07.133237
- Title: Conditional Temporal Neural Processes with Covariance Loss
- Title(参考訳): 共分散損失を有する条件付き時間的ニューラルプロセス
- Authors: Boseon Yoo, Jiwoo Lee, Janghoon Ju, Seijun Chung, Soyeon Kim, Jaesik Choi,
- Abstract要約: 本稿では,条件付きニューラルプロセスと概念的に等価な新しい損失関数Covariance Lossを紹介する。
我々は、最先端のモデルを用いた実世界のデータセットに関する広範な実験を行う。
- 参考スコア(独自算出の注目度): 19.805881561847492
- License:
- Abstract: We introduce a novel loss function, Covariance Loss, which is conceptually equivalent to conditional neural processes and has a form of regularization so that is applicable to many kinds of neural networks. With the proposed loss, mappings from input variables to target variables are highly affected by dependencies of target variables as well as mean activation and mean dependencies of input and target variables. This nature enables the resulting neural networks to become more robust to noisy observations and recapture missing dependencies from prior information. In order to show the validity of the proposed loss, we conduct extensive sets of experiments on real-world datasets with state-of-the-art models and discuss the benefits and drawbacks of the proposed Covariance Loss.
- Abstract(参考訳): 本稿では,新しい損失関数Covariance Lossを導入する。これは条件付きニューラルプロセスと概念的に等価であり,多種多様なニューラルネットワークに適用可能な正規化形式である。
提案した損失により、入力変数からターゲット変数へのマッピングは、ターゲット変数の依存性と、入力変数とターゲット変数のアクティベーションおよび平均依存性に大きく影響を受ける。
この性質により、結果のニューラルネットワークは、ノイズの多い観測や、前の情報からの欠落した依存関係の取得に対して、より堅牢になる。
提案した損失の妥当性を示すため,提案した共分散損失の利点と欠点を議論する。
関連論文リスト
- PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。
PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-09-24T07:57:21Z) - Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。
本稿では,複数の環境における回帰モデルにおける非パラメトリック不変性と因果学習に対処するアルゴリズムを提案する。
提案したFocused Adrial Invariant Regularizationフレームワークは、逆検定により回帰モデルを予測不変解へ向ける革新的なミニマックス最適化手法を利用する。
論文 参考訳(メタデータ) (2024-05-07T23:37:40Z) - Loss Jump During Loss Switch in Solving PDEs with Neural Networks [11.123662745891677]
ニューラルネットワークを用いて偏微分方程式(PDE)を解くことは、科学計算コミュニティにおいて代替のアプローチとして人気を集めている。
この研究は、PDEを解決するためのニューラルネットワークのトレーニングに、異なる損失関数がどう影響するかを調査することに焦点を当てる。
論文 参考訳(メタデータ) (2024-05-06T01:18:36Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳(メタデータ) (2023-07-05T22:04:38Z) - On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural
Networks with Linear Activations [0.0]
本研究では,不確かさが勾配推定に及ぼす影響について検討した。
一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
論文 参考訳(メタデータ) (2023-05-17T02:26:34Z) - Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。
JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。
複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
論文 参考訳(メタデータ) (2022-09-23T01:47:09Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Uncertainty in Neural Relational Inference Trajectory Reconstruction [3.4806267677524896]
我々は、空間ベクトルの各成分の平均標準偏差と適切な損失関数の両方を出力するために、ニューラル推論モデルを拡張した。
この不確実性を考慮し,病的局所性ミニマの存在を実証するためには,変数の物理的意味が重要であることを示す。
論文 参考訳(メタデータ) (2020-06-24T12:37:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。