論文の概要: Why Self-Supervised Encoders Want to Be Normal

• arxiv url: http://arxiv.org/abs/2604.27743v1
• Date: Thu, 30 Apr 2026 11:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.069033
• Title: Why Self-Supervised Encoders Want to Be Normal
• Title（参考訳）: 自己監督型エンコーダが普通になりたい理由
• Abstract要約: Information Bottleneck (IB) の原理に基づくエンコーダ・デコーダ学習のためのフレームワークを開発する。 任意の歪みレベルでの最適表現は、確率単純多様体 $mathcalM=p(Y|x):xinmathcalX$ のソフトクラスタリングであることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a geometric and information-theoretic framework for encoder-decoder learning built on the Information Bottleneck (IB) principle. Recasting IB as a rate-distortion problem with Kullback-Leibler (KL) divergence as distortion, we show that the optimal representation at any distortion level is a soft clustering of the \emph{predictive manifold} $\mathcal{M}=\{p(Y|x):x\in\mathcal{X}\}$ inside the probability simplex, admitting a linear decoder in the canonical parameterization. We derive a chain of exact transformations, from flat Dirichlet to exponential to isotropic Gaussian, connecting the maximum entropy prior on the simplex to Euclidean space, with quantified entropy overhead at each step, and show that Sketched Isotropic Gaussian Regularization (SIGReg) implements a Gaussian relaxation of this principle whose overhead affects rate accounting but not achievable prediction. This relaxation provides a principled distributional regularizer for learning with limited or no supervision. Using the Conditional Entropy Bottleneck (CEB) decomposition, we derive concrete encoder losses for supervised and semi-supervised settings, estimated via minibatch marginals without variational bounds. In the self-supervised setting, the CEB conditional rate is replaced by a view-prediction proxy. SIGReg serves as the distributional regularizer for both the semi-supervised and self-supervised settings. Experiments on toy problems and FashionMNIST confirm the predicted rate-distortion trade-offs and show that the non-parametric estimator is competitive with the standard variational approach.
• Abstract（参考訳）: Information Bottleneck (IB) の原理に基づくエンコーダ・デコーダ学習のための幾何学的および情報理論のフレームワークを開発する。 Kullback-Leibler (KL) が歪みとして発散する速度歪み問題として IB をリキャストすると、任意の歪みレベルの最適表現が \emph{predictive manifold} $\mathcal{M}=\{p(Y|x):x\in\mathcal{X}\}$ のソフトクラスタリングであることを示し、正準パラメータ化における線形デコーダを許容する。 我々は、平坦なディリクレから指数関数から等方ガウスへの正確な変換の連鎖を導出し、単純体上の最大エントロピーをユークリッド空間に接続し、各ステップにおける量子エントロピーのオーバーヘッドを定量化し、Sketched isotropic Gaussian regularization (SIGReg) がこの原理のガウス的緩和を行い、そのオーバーヘッドが計算に影響を及ぼすが、達成可能な予測にはならないことを示す。 この緩和は、限定的または無監督で学習するための原則化された分布正規化器を提供する。 条件付きエントロピー・ボトルネック (CEB) 分解法を用いて, 教師付きおよび半教師付きセッティングにおけるコンクリートエンコーダの損失を, 変動境界のないミニバッチ境界を用いて推定した。 自己監督設定では、CEB条件率をビュー予測プロキシに置き換える。 SIGRegは、半教師付き設定と自己教師型設定の両方の分散正規化器として機能する。 玩具問題の実験とFashionMNISTは、予測された速度歪みトレードオフを確認し、非パラメトリック推定器が標準変分法と競合していることを示す。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Beyond Semantic Priors: Mitigating Optimization Collapse for Generalizable Visual Forensics [12.973951916863989]
  我々は,非セマンティックなフォージェリーのランダムな推測にデジェネレーションを施した「最適化崩壊」と呼ばれる故障モードを同定する。 計算効率の良いCGP(Contrastive Gradient Proxy)と3つのトレーニングフリー戦略を統合したContrastive Regional Injection Transformer(CoRIT)を提案する。 CoRITは最適化の崩壊を緩和し、クロスドメインおよびユニバーサルフォージェリーベンチマーク間の最先端の一般化を実現する。
  論文  参考訳（メタデータ） (2026-03-25T08:03:30Z)
• Beyond the Academic Monoculture: A Unified Framework and Industrial Perspective for Attributed Graph Clustering [75.50670592447219]
  分散グラフクラスタリング(AGC)は、構造トポロジとノード属性を共同でモデル化することによって、ノードを凝集性グループに分割する基本的な教師なしタスクである。 この調査は、3つの相補的な視点からAGCを包括的かつ工業的に基礎づけたレビューを提供する。
  論文  参考訳（メタデータ） (2026-03-21T14:15:34Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities [0.0]
  非コン最適化タスクのための新しいアルゴリズムとしてVR-A-A(VarianceReduced-Ascent with Armijo)を提案する。 本手法は,手動学習スケジューリングへの依存度を低減して,限界周期を効果的に抑制し,収束を加速することを示す。
  論文  参考訳（メタデータ） (2026-01-30T14:43:07Z)
• Unsupervised Synthetic Image Attribution: Alignment and Disentanglement [55.853285140682665]
  そこで我々は,アライメント・アンド・ディスタングルメント(Alignment and Disentanglement)という,シンプルで効果的な教師なしの手法を提案する。 具体的には、コントラッシブな自己教師あり学習を用いて基本的な概念アライメントを実行することから始める。 次に、Infomax損失による表現のゆがみを促進することにより、モデルの属性能力を高める。
  論文  参考訳（メタデータ） (2026-01-30T07:31:53Z)
• Deep Neural Networks as Iterated Function Systems and a Generalization Bound [2.7920304852537536]
  2つの重要なディープアーキテクチャは、場所に依存したIFSとみなすことができるか、あるいは正統に関連付けられるかを示す。 データ分布と画像間のコラージュ型近似誤差を制御する生成モデリングのためのワッサーシュタイン境界を導出する。
  論文  参考訳（メタデータ） (2026-01-27T07:32:49Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• A Generalized Information Bottleneck Theory of Deep Learning [10.454976783057086]
  Information Bottleneck(IB)原則は、ニューラルネットワーク(NN)がどのように学習するかを理解するための説得力のある理論的フレームワークを提供する。 我々は、シナジーのレンズを通して、元のIB原理を再構築する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-30T14:38:56Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Principled Out-of-Distribution Generalization via Simplicity [16.17883058788714]
  画像生成における拡散モデルの合成一般化能力について検討する。 我々は,事前定義された簡易度を用いて定量化した簡易度によるOOD一般化の理論的枠組みを開発する。 我々は、真の、一般化可能な、単純なモデルを学ぶための、最初の鋭いサンプル複雑性を保証する。
  論文  参考訳（メタデータ） (2025-05-28T17:44:10Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Matrix Completion-Informed Deep Unfolded Equilibrium Models for Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
  正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。 理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-24T07:25:06Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。