論文の概要: Contrastive Conditional Neural Processes

• arxiv url: http://arxiv.org/abs/2203.03978v1
• Date: Tue, 8 Mar 2022 10:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 21:29:41.611889
• Title: Contrastive Conditional Neural Processes
• Title（参考訳）: コントラスト条件付き神経プロセス
• Authors: Zesheng Ye, Lina Yao
• Abstract要約: 条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。 2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。 実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
• 参考スコア（独自算出の注目度）: 45.70735205041254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{\it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able to provide more robust representations by learning distributional matching objectives to combat such inherent limitation of generative models. In light of this, we propose to equip CNPs by 1) aligning prediction with encoded ground-truth observation, and 2) decoupling meta-representation adaptation from generative reconstruction. Specifically, two auxiliary contrastive branches are set up hierarchically, namely in-instantiation temporal contrastive learning~({\tt TCL}) and cross-instantiation function contrastive learning~({\tt FCL}), to facilitate local predictive alignment and global function consistency, respectively. We empirically show that {\tt TCL} captures high-level abstraction of observations, whereas {\tt FCL} helps identify underlying functions, which in turn provides more efficient representations. Our model outperforms other CNPs variants when evaluating function distribution reconstruction and parameter identification across 1D, 2D and high-dimensional time-series.
• Abstract（参考訳）: 条件付きニューラルプロセス~(CNP)は、確率的推論を伴うニューラルネットワークをメタ学習環境下で確率的プロセスの近似関数にブリッジする。 関数インスタンス化のバッチが与えられた場合、CNPは、生成的再構成パイプライン内でのIn-instantiationObservation予測とクロス-instantiation Meta-representation適応に共同最適化される。 関数観測の分布が高次元および雑音空間にスケールする場合、そのような2つの目標を結びつけることは困難である。 代わりに、ノイズコントラスト推定は、生成モデルの固有の制限と戦うために分布マッチングの目的を学習することで、より堅牢な表現を提供できるかもしれない。 これを踏まえて、我々はCNPを装備することを提案する。 1)エンコードされた地表面観測と予測の整合 2) 生成的再構成からメタ表現適応を分離する。 具体的には、2つの補助的コントラスト分岐を階層的に設定し、それぞれ局所的な予測アライメントとグローバル関数の整合性を促進するために、インストラクテーション時間的コントラスト学習~({\tt TCL})とクロスストラクテーション関数コントラスト学習~({\tt FCL})である。 実験により, {\tt TCL} が観測の高レベルな抽象化を捉えるのに対して, {\tt FCL} は基底関数の同定に役立ち,より効率的な表現を提供することを示す。 本モデルでは,1次元,2次元,高次元の時系列における関数分布再構成とパラメータ同定を評価する際に,他のCNPよりも優れる。

関連論文リスト

• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• Point-Based Value Iteration for POMDPs with Neural Perception Mechanisms [31.51588071503617]
  ニューロシンボリックな部分観測可能なマルコフ決定過程(NS-POMDP)を紹介する。 状態空間と値ベクトルを包含するポリヘドラを用いて, 分割線形凸表現(P-PWLC)を提案する。 本稿では,ReLUニューラルネットワークを知覚機能として用いた2つのケーススタディに対して,本手法の実用性を示す。
  論文  参考訳（メタデータ） (2023-06-30T13:26:08Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。