論文の概要: Hypersolid: Emergent Vision Representations via Short-Range Repulsion
- arxiv url: http://arxiv.org/abs/2601.21255v1
- Date: Thu, 29 Jan 2026 04:25:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.573865
- Title: Hypersolid: Emergent Vision Representations via Short-Range Repulsion
- Title(参考訳): 超固体:短距離反発による創発的視覚表現
- Abstract要約: 我々は表現学習を離散的なパッキング問題として再解釈し、情報保存はインジェクティビティを維持するのを単純化する。
局所衝突を防止するために短距離ハードボール反発を用いたハイパーソリッドでこれを運用する。
この制約は、増大する多様性を保ち、きめ細かな、低解像度の分類タスクに優れた、高度に分離された幾何学的構造をもたらす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recurring challenge in self-supervised learning is preventing representation collapse. Existing solutions typically rely on global regularization, such as maximizing distances, decorrelating dimensions or enforcing certain distributions. We instead reinterpret representation learning as a discrete packing problem, where preserving information simplifies to maintaining injectivity. We operationalize this in Hypersolid, a method using short-range hard-ball repulsion to prevent local collisions. This constraint results in a high-separation geometric regime that preserves augmentation diversity, excelling on fine-grained and low-resolution classification tasks.
- Abstract(参考訳): 自己指導型学習における繰り返しの課題は、表現の崩壊を防ぐことである。
既存の解は通常、距離の最大化、次元の非相関化、特定の分布の強制といった大域的な正則化に依存する。
そこで我々は,表現学習を離散的なパッキング問題として再解釈し,情報保存はインジェクティビティの維持を単純化する。
局所衝突を防止するために短距離ハードボール反発を用いたハイパーソリッドでこれを運用する。
この制約は、増大する多様性を保ち、きめ細かな、低解像度の分類タスクに優れた、高度に分離された幾何学的構造をもたらす。
関連論文リスト
- Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳(メタデータ) (2026-05-19T12:01:13Z) - Scalable Production Scheduling: Linear Complexity via Unified Homogeneous Graphs [0.1274452325287335]
特徴に基づくホモジェナイゼーションを利用して、異なるノードロールを共有潜在空間に投影する統合グラフフレームワークを導入する。
これにより、標準的な同次グラフ同型ネットワークは、線形複雑度で複雑なリソース競合を捉えることができる。
我々は,一貫したゼロショットの一般化を図りながら,最先端の性能を実現していることを示す。
論文 参考訳(メタデータ) (2026-04-26T19:00:34Z) - Pairing Regularization for Mitigating Many-to-One Collapse in GANs [11.064613023526745]
本稿では,多対一の崩壊を緩和するために,ジェネレータと共同最適化されたペアリング正規化器を提案する。
ペアリング正則化の効果は、トレーニングの主流となる障害モードに依存することを示す。
論文 参考訳(メタデータ) (2026-04-22T02:57:30Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-04-18T10:50:46Z) - Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
Referring-Aware Visuomotor Policy(ReV)について紹介する。
ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。
これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
論文 参考訳(メタデータ) (2026-04-07T07:41:11Z) - Unsupervised Behavioral Compression: Learning Low-Dimensional Policy Manifolds through State-Occupancy Matching [42.26405543045843]
アクションベースのポリシー圧縮(APC)は、サンプル非効率であると広く認識されている。
我々は,行動表現を即時的行動マッチングから長期的状態空間カバレッジにシフトさせることにより,APCを向上させるOccupancy-based Policy Compression (OPC)を紹介した。
これらの修正により、生成モデルは真の機能的類似性を取り巻く潜在空間を整理し、幅広い振る舞いを一般化する潜在表現を促進する。
論文 参考訳(メタデータ) (2026-03-27T23:16:27Z) - Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。
分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。
本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文 参考訳(メタデータ) (2026-02-06T16:39:10Z) - Sparse Attention Post-Training for Mechanistic Interpretability [55.030850996535776]
本稿では,トランスフォーマーの注意を犠牲にすることなく,簡易なポストトレーニング手法を提案する。
制約された余剰目的の下でフレキシブルな空間規則化を適用することで、1Bパラメータまでのモデルで、初期トレーニング損失を抑えつつ、注意接続性を$approx 0.3 %に抑えることができることを示す。
論文 参考訳(メタデータ) (2025-12-05T16:40:08Z) - Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
反正則化は損失関数に逆符号を持つ報酬項を導入する。
スペクトル安全性条件と信頼領域制約を定式化する。
我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
論文 参考訳(メタデータ) (2025-08-24T15:34:17Z) - Towards the Semantic Weak Generalization Problem in Generative Zero-Shot
Learning: Ante-hoc and Post-hoc [89.68803484284408]
生成ゼロショット学習(ZSL)の性能上限を制限した未探索要素を簡易かつ効果的に削減する戦略を提案する。
まず、意味的一般化を正式に定義し、その後、意味的弱一般化問題を減らそうとするアプローチを検討する。
アンテホック相では、ジェネレータのセマンティック入力を増強し、ジェネレータの適合ターゲットを緩和する。
論文 参考訳(メタデータ) (2022-04-24T13:54:42Z) - Linear Adversarial Concept Erasure [108.37226654006153]
与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。
提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
論文 参考訳(メタデータ) (2022-01-28T13:00:17Z) - VICReg: Variance-Invariance-Covariance Regularization for
Self-Supervised Learning [43.96465407127458]
本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。
VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
論文 参考訳(メタデータ) (2021-05-11T09:53:21Z) - Online and Distribution-Free Robustness: Regression and Contextual
Bandits with Huber Contamination [29.85468294601847]
線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。
従来の手法が失敗した場合にアルゴリズムが成功することを示す。
論文 参考訳(メタデータ) (2020-10-08T17:59:05Z) - Global Distance-distributions Separation for Unsupervised Person
Re-identification [93.39253443415392]
既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。
本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。
本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2020-06-01T07:05:39Z) - Adversarial Classification via Distributional Robustness with
Wasserstein Ambiguity [12.576828231302134]
ワッサーシュタインの曖昧さの下では、モデルは誤分類のリスクを最小限にすることを目的としている。
この分類の非整合性にもかかわらず、標準降下法はこの問題に対して収束しているように見える。
論文 参考訳(メタデータ) (2020-05-28T07:28:47Z) - Discrete Variational Attention Models for Language Generation [51.88612022940496]
本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。
離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
論文 参考訳(メタデータ) (2020-04-21T05:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。