論文の概要: RevUp: Revise and Update Information Bottleneck for Event Representation

• arxiv url: http://arxiv.org/abs/2205.12248v1
• Date: Tue, 24 May 2022 17:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:56:13.501873
• Title: RevUp: Revise and Update Information Bottleneck for Event Representation
• Title（参考訳）: revup: イベント表現のための情報ボトルネックの修正と更新
• Authors: Mehdi Rezaee and Francis Ferraro
• Abstract要約: 機械学習では、潜在変数は基礎となるデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。 本稿では,側知識を用いて個別潜伏変数の学習を指示する半教師付き情報ボトルネックモデルを提案する。 提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。
• 参考スコア（独自算出の注目度）: 16.54912614895861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, latent variables play a key role to capture the underlying structure of data, but they are often unsupervised. When we have side knowledge that already has high-level information about the input data, we can use that source to guide latent variables and capture the available background information in a process called "parameter injection." In that regard, we propose a semi-supervised information bottleneck-based model that enables the use of side knowledge, even if it is noisy and imperfect, to direct the learning of discrete latent variables. Fundamentally, we introduce an auxiliary continuous latent variable as a way to reparameterize the model's discrete variables with a light-weight hierarchical structure. With this reparameterization, the model's discrete latent variables are learned to minimize the mutual information between the observed data and optional side knowledge that is not already captured by the new, auxiliary variables. We theoretically show that our approach generalizes an existing method of parameter injection, and perform an empirical case study of our approach on language-based event modeling. We corroborate our theoretical results with strong empirical experiments, showing that the proposed method outperforms previous proposed approaches on multiple datasets.
• Abstract（参考訳）: 機械学習では、潜在変数はデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。 入力データに関するハイレベルな情報を既に持っているサイド知識があれば、そのソースを使用して潜在変数をガイドし、利用可能なバックグラウンド情報を"パラメータ注入"と呼ばれるプロセスでキャプチャできます。 そこで本研究では, ノイズや不完全であっても, 副次的知識を活用可能な半教師付き情報ボトルネックモデルを提案し, 個別潜伏変数の学習を指導する。 基本として,モデルの離散変数を軽量階層構造で再パラメータ化する方法として,補助連続潜在変数を導入する。 このパラメータ化により、モデルの離散潜在変数は、観測されたデータと、新しい補助変数が既に取得していない任意の側知識との間の相互情報を最小化するために学習される。 提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。 提案手法は,提案手法が従来の複数のデータセットに対する提案手法よりも優れていることを示す。

関連論文リスト

• Information theory for data-driven model reduction in physics and biology [0.0]
  我々は,関連変数を特定するために,情報ボトルネックに基づく体系的アプローチを開発する。 高圧縮の極限において、関連する変数は、最も遅い遅延固有関数によって直接決定されることを示す。 モデルリダクションを実行する解釈可能なディープラーニングツールを構築するための確固たる基盤を提供する。
  論文  参考訳（メタデータ） (2023-12-11T18:39:05Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Triplot: model agnostic measures and visualisations for variable importance in predictive models that take into account the hierarchical correlation structure [3.0036519884678894]
  変数間の相関に関する情報を利用してモデル解析を支援する新しい手法を提案する。 ユーザが提案した変数群(アスペクト)と、自動的に決定される変数群(アスペクト)を解析する方法を紹介します。 また,可変グルーピングの階層構造を利用して高情報密度モデル可視化を行うtriplotという新しいタイプのモデル可視化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T21:29:03Z)
• Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors [5.317548969642376]
  変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。 本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-06-02T09:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。