Fugu-MT 論文翻訳(概要): A Free-Energy Principle for Representation Learning

論文の概要: A Free-Energy Principle for Representation Learning

arxiv url: http://arxiv.org/abs/2002.12406v1
Date: Thu, 27 Feb 2020 19:44:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-28 07:45:59.916271
Title: A Free-Energy Principle for Representation Learning
Title（参考訳）: 表現学習のための自由エネルギー原理
Authors: Yansong Gao and Pratik Chaudhari
Abstract要約: 本稿では,伝達学習における学習表現の質を特徴付けるために,機械学習と熱力学の形式的関連性を用いる。本稿では, モデルの速度, 歪み, 分類損失などの情報理論関数が, いわゆる平衡面上にどのように存在するかについて議論する。我々は、このプロセスがどのようにしてソースデータセットからターゲットデータセットへの表現の転送に使えるかを示し、分類損失を一定に保ちながら示す。
参考スコア（独自算出の注目度）: 31.359578768463752
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper employs a formal connection of machine learning with thermodynamics to characterize the quality of learnt representations for transfer learning. We discuss how information-theoretic functional such as rate, distortion and classification loss of a model lie on a convex, so-called equilibrium surface.We prescribe dynamical processes to traverse this surface under constraints, e.g., an iso-classification process that trades off rate and distortion to keep the classification loss unchanged. We demonstrate how this process can be used for transferring representations from a source dataset to a target dataset while keeping the classification loss constant. Experimental validation of the theoretical results is provided on standard image-classification datasets.
Abstract（参考訳）: 本稿では,機械学習と熱力学の形式的接続を用いて,トランスファー学習における学習表現の質を特徴付ける。モデルの速度、歪み、分類損失といった情報理論的機能がどのように凸、いわゆる平衡面上に存在するのかを議論し、例えば、速度と歪みを交換して分類損失を一定に保つ等級化過程において、この表面をトラバースする動的過程を規定する。本稿では、このプロセスを用いて、分類損失を一定に保ちながら、ソースデータセットからターゲットデータセットに表現を転送する方法を示す。標準画像分類データセット上で理論的結果の実験的検証を行う。

関連論文リスト

Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
論文参考訳（メタデータ） (2024-10-29T09:03:57Z)
Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
論文参考訳（メタデータ） (2024-08-10T17:04:39Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Unleashing the power of Neural Collapse for Transferability Estimation [42.09673383041276]
よく訓練されたモデルは神経崩壊の現象を示す。本稿では、転送可能性推定のためのFair Collapse(FaCe)と呼ばれる新しい手法を提案する。 FaCeは、画像分類、セマンティックセグメンテーション、テキスト分類など、さまざまなタスクにおける最先端のパフォーマンスを提供する。
論文参考訳（メタデータ） (2023-10-09T14:30:10Z)
Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文参考訳（メタデータ） (2023-06-14T11:41:42Z)
Initial Guessing Bias: How Untrained Networks Favor Some Classes [0.09103230894909536]
深層ニューラルネットワーク(DNN)の構造は、トレーニング開始前であっても、全ての予測を同じクラスに割り当てるようにモデルを条件付けることができることを示す。この現象の存在は,データセット前処理手法を含むモデル選択の影響を受けていることを実証する。ノード置換対称性の分解や自己回避の違反など理論的な結果を強調した。
論文参考訳（メタデータ） (2023-06-01T15:37:32Z)
Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文参考訳（メタデータ） (2022-03-29T13:07:53Z)
Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文参考訳（メタデータ） (2022-02-17T00:38:35Z)
A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文参考訳（メタデータ） (2021-08-25T02:29:28Z)
Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
論文参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。