論文の概要: Low-Entropy Latent Variables Hurt Out-of-Distribution Performance
- arxiv url: http://arxiv.org/abs/2305.12238v1
- Date: Sat, 20 May 2023 17:09:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 23:39:06.853097
- Title: Low-Entropy Latent Variables Hurt Out-of-Distribution Performance
- Title（参考訳）: 低エントロピー潜在変数の分布特性
- Authors: Nandi Schoots, Dylan Cope
- Abstract要約: 中間表現のエントロピーとモデルのロバスト性と分布シフトの関係について検討する。
我々は、教師なしのコントラスト学習タスクにおいて、離散的な$n$-bitチャネルで分離された2つのフィードフォワードネットワークからなるモデルを訓練する。
- 参考スコア（独自算出の注目度）: 1.4502611532302039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the relationship between the entropy of intermediate representations
and a model's robustness to distributional shift. We train models consisting of
two feed-forward networks end-to-end separated by a discrete $n$-bit channel on
an unsupervised contrastive learning task. Different masking strategies are
applied after training that remove a proportion of low-entropy bits,
high-entropy bits, or randomly selected bits, and the effects on performance
are compared to the baseline accuracy with no mask. We hypothesize that the
entropy of a bit serves as a guide to its usefulness out-of-distribution (OOD).
Through experiment on three OOD datasets we demonstrate that the removal of
low-entropy bits can notably benefit OOD performance. Conversely, we find that
top-entropy masking disproportionately harms performance both in-distribution
(InD) and OOD.
- Abstract（参考訳）: 中間表現のエントロピーと分布シフトに対するモデルのロバスト性との関係について検討した。
我々は、教師なしのコントラスト学習タスクにおいて、個別のn$-bitチャネルによって分離された2つのフィードフォワードネットワークからなるモデルを訓練する。
低エントロピービット、高エントロピービット、ランダムに選択されたビットの比率を除去するトレーニングの後、異なるマスキング戦略が適用され、マスク無しのベースライン精度と比較される。
我々は、ビットのエントロピーが、その分散性(ood)の有用性のガイドとなると仮定する。
3つのOODデータセットの実験を通して、低エントロピービットの除去はOODのパフォーマンスに顕著に寄与することを示した。
逆に、トップエントロピーマスキングは、インディストリビューション(InD)とOODの両方のパフォーマンスに悪影響を及ぼす。
関連論文リスト
- Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳（メタデータ） (2024-11-11T13:13:39Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。
モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。
これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
論文 参考訳（メタデータ） (2024-03-26T11:01:53Z) - Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized
Control [54.132297393662654]
拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。
拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。
本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
論文 参考訳（メタデータ） (2024-02-23T08:54:42Z) - When hard negative sampling meets supervised contrastive learning [17.173114048398947]
我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。
SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。
提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
論文 参考訳（メタデータ） (2023-08-28T20:30:10Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。
In-Training Representation Alignment (ITRA) を提案する。
また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文 参考訳（メタデータ） (2022-11-23T22:23:22Z) - Hard Negative Sampling via Regularized Optimal Transport for Contrastive
Representation Learning [13.474603286270836]
本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。
本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
論文 参考訳（メタデータ） (2021-11-04T21:25:24Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。