論文の概要: On Designing Good Representation Learning Models
- arxiv url: http://arxiv.org/abs/2107.05948v1
- Date: Tue, 13 Jul 2021 09:39:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 14:58:57.491991
- Title: On Designing Good Representation Learning Models
- Title（参考訳）: 表現学習モデルの設計について
- Authors: Qinglin Li, Bin Li, Jonathan M Garibaldi, Guoping Qiu
- Abstract要約: 表現学習の目標は、意思決定のような機械学習の最終的な目的とは異なる。
表現学習モデルを訓練するための明確かつ直接的な目的を確立することは困難である。
- 参考スコア（独自算出の注目度）: 22.25835082568234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of representation learning is different from the ultimate objective
of machine learning such as decision making, it is therefore very difficult to
establish clear and direct objectives for training representation learning
models. It has been argued that a good representation should disentangle the
underlying variation factors, yet how to translate this into training
objectives remains unknown. This paper presents an attempt to establish direct
training criterions and design principles for developing good representation
learning models. We propose that a good representation learning model should be
maximally expressive, i.e., capable of distinguishing the maximum number of
input configurations. We formally define expressiveness and introduce the
maximum expressiveness (MEXS) theorem of a general learning model. We propose
to train a model by maximizing its expressiveness while at the same time
incorporating general priors such as model smoothness. We present a conscience
competitive learning algorithm which encourages the model to reach its MEXS
whilst at the same time adheres to model smoothness prior. We also introduce a
label consistent training (LCT) technique to boost model smoothness by
encouraging it to assign consistent labels to similar samples. We present
extensive experimental results to show that our method can indeed design
representation learning models capable of developing representations that are
as good as or better than state of the art. We also show that our technique is
computationally efficient, robust against different parameter settings and can
work effectively on a variety of datasets.
- Abstract（参考訳）: 表現学習の目標は、意思決定などの機械学習の最終的な目的とは異なるため、表現学習モデルを訓練するための明確かつ直接的な目的を確立することは極めて困難である。
優れた表現は、基礎となる変動要因を絡み合うべきであるが、これをトレーニング目的に変換する方法はまだ不明である。
本稿では,良質な表現学習モデルを開発するための直接訓練基準と設計原則を確立する試みについて述べる。
優れた表現学習モデルは、入力構成の最大数を識別できるような、最大表現型であるべきである。
表現性を定義し,一般学習モデルの最大表現性(mexs)定理を導入する。
モデルの滑らかさなどの一般的な事前性も取り入れながら,その表現性を最大化し,モデルを訓練することを提案する。
本稿では,モデルをMEXSに到達させるとともに,モデルのスムーズさを先行する良心競合学習アルゴリズムを提案する。
また、類似したサンプルに一貫したラベルを割り当てることを奨励することにより、モデルの滑らかさを高めるためのラベル一貫性トレーニング(LCT)手法も導入する。
本手法は,最先端の表現と同等かそれ以上に優れた表現を開発できる表現学習モデルを設計することができることを示すために,広範な実験結果を示す。
また,本手法は計算効率が高く,異なるパラメータ設定に対して堅牢であり,様々なデータセットで効果的に動作することを示す。
関連論文リスト
- Aligning Visual Contrastive learning models via Preference Optimization [0.9438963196770565]
本稿では,複雑な概念を分解するために,優先度最適化(PO)を用いたコントラスト学習モデルの学習方法を提案する。
提案手法は,モデル行動と所望の嗜好を体系的に整合させ,目標タスクの性能を向上させる。
特に、CLIPのような対照的なモデルでよく見られる、タイポグラフィー攻撃に対するモデル堅牢性の向上に焦点を当てる。
さらに, 性別の理解を阻害し, 性別の偏見を緩和するために本手法を適用し, センシティブな属性をより微妙に制御する。
論文 参考訳（メタデータ） (2024-11-12T08:14:54Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳（メタデータ） (2024-01-02T17:08:26Z) - Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。
我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
論文 参考訳（メタデータ） (2023-12-01T18:59:57Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception
Tasks? [51.22096780511165]
本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。
我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
論文 参考訳（メタデータ） (2023-06-01T14:02:45Z) - Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳（メタデータ） (2023-02-19T14:08:01Z) - Minimal Value-Equivalent Partial Models for Scalable and Robust Planning
in Lifelong Reinforcement Learning [56.50123642237106]
モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。
このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。
我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
論文 参考訳（メタデータ） (2023-01-24T16:40:01Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。