Fugu-MT 論文翻訳(概要): ParamReL: Learning Parameter Space Representation via Progressively Encoding Bayesian Flow Networks

論文の概要: ParamReL: Learning Parameter Space Representation via Progressively Encoding Bayesian Flow Networks

arxiv url: http://arxiv.org/abs/2405.15268v1
Date: Fri, 24 May 2024 06:51:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 15:50:32.700902
Title: ParamReL: Learning Parameter Space Representation via Progressively Encoding Bayesian Flow Networks
Title（参考訳）: ParamReL: ベイズフローネットワークのプログレッシブエンコードによるパラメータ空間表現の学習
Authors: Zhangkai Wu, Xuhui Fan, Zhilin Zhao, Jin Li, Hui Chen, Longbing Cao,
Abstract要約: そこで本研究では,パラメータ空間内で動作するParamReLという表現学習フレームワークを提案する。具体的には、ParamReLは、観察からではなく、パラメータから直接潜在意味論を学習するエンフセルフエンコーダを提案する。相互情報用語は、潜在意味論の混乱をさらに促進し、同時に意味的意味論を捉える。
参考スコア（独自算出の注目度）: 34.65716045213426
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The recently proposed Bayesian Flow Networks~(BFNs) show great potential in modeling parameter spaces, offering a unified strategy for handling continuous, discretized, and discrete data. However, BFNs cannot learn high-level semantic representation from the parameter space since {common encoders, which encode data into one static representation, cannot capture semantic changes in parameters.} This motivates a new direction: learning semantic representations hidden in the parameter spaces to characterize mixed-typed noisy data. {Accordingly, we propose a representation learning framework named ParamReL, which operates in the parameter space to obtain parameter-wise latent semantics that exhibit progressive structures. Specifically, ParamReL proposes a \emph{self-}encoder to learn latent semantics directly from parameters, rather than from observations. The encoder is then integrated into BFNs, enabling representation learning with various formats of observations. Mutual information terms further promote the disentanglement of latent semantics and capture meaningful semantics simultaneously.} We illustrate {conditional generation and reconstruction} in ParamReL via expanding BFNs, and extensive {quantitative} experimental results demonstrate the {superior effectiveness} of ParamReL in learning parameter representation.
Abstract（参考訳）: 最近提案されたベイズフローネットワーク~(BFN)はパラメータ空間のモデリングにおいて大きな可能性を示し、連続的で離散化された離散データを扱うための統一的な戦略を提供する。しかし、BFNはパラメータ空間から高レベルのセマンティック表現を学習することはできない。パラメータ空間に隠された意味表現を学習し、混合型ノイズデータを特徴付ける。そこで本研究では,パラメータ空間内で動作するParamReLという表現学習フレームワークを提案する。具体的には、ParamReLは、観測からではなくパラメータから直接潜在意味論を学ぶために、 \emph{self-} エンコーダを提案する。エンコーダはBFNに統合され、様々な観察形式の表現学習を可能にする。相互情報用語は、潜在意味論の混乱をさらに促進し、同時に意味的意味論を捉える。 BFNを拡張することでParamReLの条件生成と再構築を図示し、学習パラメータ表現におけるParamReLの上位効果を実験的に検証した。

関連論文リスト

Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。本稿では,プロンプトベースを提案する。上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
論文参考訳（メタデータ） (2024-02-23T03:53:39Z)
Neural Network Parameter Diffusion [50.85251415173792]
拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。本研究は拡散モデルにも適用可能であることを示す。高性能なニューラルネットワークパラメータを生成する。
論文参考訳（メタデータ） (2024-02-20T16:59:03Z)
Sparse Function-space Representation of Neural Networks [23.4128813752424]
ディープニューラルネットワーク(NN)は、不確実性推定が欠如していることや、新しいデータを組み込むのに苦労していることが知られている。本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
論文参考訳（メタデータ） (2023-09-05T12:56:35Z)
Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2022-10-04T07:27:29Z)
Prompt-Matched Semantic Segmentation [96.99924127527002]
本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
論文参考訳（メタデータ） (2022-08-22T09:12:53Z)
Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training [88.80694147730883]
本稿では,多種多様なモダリティ共有コントラスト言語-画像事前学習(MS-CLIP)フレームワークについて検討する。学習条件下では、視覚と言語信号のためのほとんど統一されたエンコーダが、より多くのパラメータを分離する他のすべてのバリエーションより優れていることが観察された。我々のアプローチは、24の下流視覚タスクのコレクションに基づいて、線形探索においてバニラCLIPを1.6ポイント上回ります。
論文参考訳（メタデータ） (2022-07-26T05:19:16Z)
Contrastive Conditional Neural Processes [45.70735205041254]
条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。 2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
論文参考訳（メタデータ） (2022-03-08T10:08:45Z)
On the Parameter Combinations That Matter and on Those That do Not [0.0]
モデルパラメータの非識別性を特徴付けるためのデータ駆動型手法を提案する。 Diffusion Mapsとその拡張を利用することで、動的出力の振る舞いを特徴づけるために必要なパラメータの最小の組み合わせを発見する。
論文参考訳（メタデータ） (2021-10-13T13:46:23Z)
Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation [22.064890647610348]
本稿では,アクティベーションのメモリにおける近接するトークンのパラメータ化表現を用いたパラメータ化近傍メモリ適応(PNMA)手法を提案する。単語埋め込みの種類に関係なく,PNMAはベースモデルのSRL性能を一貫して改善することを示す。
論文参考訳（メタデータ） (2020-11-29T22:51:25Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。