論文の概要: The effect of priors on Learning with Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2412.02623v1
• Date: Tue, 03 Dec 2024 17:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:41:24.904522
• Title: The effect of priors on Learning with Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンによる事前学習の効果
• Authors: Gianluca Manzan, Daniele Tantari,
• Abstract要約: 本稿では,教師RBMが生み出す実例から学生RBMが学習する教師学生環境について検討する。 連続(ガウス的)変数と二変数の間で補間する先行のパラメトリッククラスを考える。 我々は,いわゆる信号検索領域を拡大することで,学生の事前選択を賢明に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Restricted Boltzmann Machines (RBMs) are generative models designed to learn from data with a rich underlying structure. In this work, we explore a teacher-student setting where a student RBM learns from examples generated by a teacher RBM, with a focus on the effect of the unit priors on learning efficiency. We consider a parametric class of priors that interpolate between continuous (Gaussian) and binary variables. This approach models various possible choices of visible units, hidden units, and weights for both the teacher and student RBMs. By analyzing the phase diagram of the posterior distribution in both the Bayes optimal and mismatched regimes, we demonstrate the existence of a triple point that defines the critical dataset size necessary for learning through generalization. The critical size is strongly influenced by the properties of the teacher, and thus the data, but is unaffected by the properties of the student RBM. Nevertheless, a prudent choice of student priors can facilitate training by expanding the so-called signal retrieval region, where the machine generalizes effectively.
• Abstract（参考訳）: 制限ボルツマンマシン(RBM)は、豊富な基盤構造を持つデータから学習するために設計された生成モデルである。 本研究では,教師のRBMが生み出す実例から学生のRBMが学習する教師の学習環境について検討し,学習効率への影響に着目した。 連続(ガウス的)変数と二変数の間で補間する先行のパラメトリッククラスを考える。 このアプローチは、教師と学生の両方のRBMに対して、可視単位、隠れ単位、および重みの様々な選択肢をモデル化する。 ベイズ最適条件と不一致条件の両方における後部分布の位相図を解析することにより、一般化を通して学習するために必要な重要なデータセットサイズを定義する三点の存在を実証する。 批判的サイズは教師の特性やデータに強く影響されるが、学生RBMの特性には影響を受けない。 それでも、学習者の事前選択は、機械が効果的に一般化するいわゆる信号検索領域を拡張することで、訓練を容易にすることができる。

関連論文リスト

• Modelling Structured Data Learning with Restricted Boltzmann Machines in the Teacher-Student Setting [0.0]
  本稿では,教師のRBMが教師のRBMから生成された構造化データを学習する学習環境について検討する。 その結果,教師のパターンを学習するのに要するデータ量は,その数と相関によって減少することがわかった。
  論文  参考訳（メタデータ） (2024-10-21T16:18:19Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving [64.57963116462757]
  最先端の手法は通常、教師-学生のパラダイムに従う。 学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。 本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:21:53Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• From Mimicking to Integrating: Knowledge Integration for Pre-Trained Language Models [55.137869702763375]
  本稿では,新しいPLM再利用パラダイムであるKnowledge Integration(KI)について検討する。 KIは,異なる分類問題に特化している教師-PLMの知識を,多種多様な学生モデルにマージすることを目的としている。 次に,モデル不確かさを意識した知識統合(MUKI)フレームワークを設計し,学生の黄金の監督を回復する。
  論文  参考訳（メタデータ） (2022-10-11T07:59:08Z)
• Interpretable Knowledge Tracing: Simple and Efficient Student Modeling with Causal Relations [21.74631969428855]
  解釈可能な知識追跡(英: Interpretable Knowledge Tracing, IKT)は、3つの有意義な潜在機能に依存する単純なモデルである。 IKTの将来の学生成績予測は、Tree-Augmented Naive Bayes (TAN) を用いて行われる。 IKTは、現実世界の教育システムにおいて、因果推論を用いた適応的でパーソナライズされた指示を提供する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-12-15T19:05:48Z)
• Predicting student performance using data from an auto-grading system [0.0]
  我々はMarmoset自動階調システムから抽出した様々な特徴を持つ決定木モデルと線形回帰モデルを構築した。 本稿では, 入力時間間隔を用いた線形回帰モデルが, 精度とF-Measureの点で, 全モデルの中で最良であることを示す。 また,成績の悪い生徒に誤分類された生徒は,すべてのモデルにおいて,線形回帰モデルの中では最も低い実例があることが示唆された。
  論文  参考訳（メタデータ） (2021-02-02T03:02:39Z)
• Fast Ensemble Learning Using Adversarially-Generated Restricted Boltzmann Machines [0.0]
  Restricted Boltzmann Machine (RBM)は近年注目され、データ確率分布をモデル化するエネルギーベースの構造に依存している。 本稿では,事前学習した重み行列がGAN入力として機能するAdversarial Learningを用いて,RBMを人工的に生成することを提案する。 画像再構成および画像分類タスクにおける提案手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-01-04T16:00:47Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。