論文の概要: Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2606.26973v1
- Date: Thu, 25 Jun 2026 12:45:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.284423
- Title: Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning
- Title(参考訳): 安全オープンセット半教師付き学習のための幾何学的勾配整流
- Abstract要約: オープンセット半教師付き学習は、アウト・オブ・ディストリビューション・アウトリーを含む可能性のあるラベルのないデータを活用することを目的としている。
既存の手法は主に、疑わしいサンプルをフィルタリングするか、ラベルなしの目的をソフトな重み付けに組み込むという2つのパラダイムに従っている。
攻撃的フィルタリングは情報的だがハードなIDサンプルを捨てることが可能であり、一方、利用は疑似ラベルが間違っている場合に教師付き学習と矛盾する補助的な勾配を導入することができる。
教師付き勾配をアンカーとして使用するプラグインフレームワークである textitGeometric Gradient Rectification (GGR) を提案する。
- 参考スコア(独自算出の注目度): 15.386002863432678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-set semi-supervised learning aims to leverage unlabeled data that may contain out-of-distribution outliers while maintaining performance on in-distribution classes. Existing methods mainly follow two paradigms: filtering suspicious samples or incorporating unlabeled objectives with soft weighting. We argue that both face a common trade-off: aggressive filtering can discard informative but hard ID samples, whereas utilization can introduce auxiliary gradients that conflict with supervised learning when pseudo labels are wrong. We therefore shift the focus from sample selection to gradient-level control. We propose \textit{Geometric Gradient Rectification} (GGR), a plug-in framework that uses the supervised gradient as an anchor and projects conflicting auxiliary gradients onto an admissible region in gradient space. This makes the applied auxiliary update first-order non-opposing within the rectified coordinate block while preserving orthogonal components that may still carry useful representation signals. We further extend GGR with subspace-aware rectification to stabilize the anchor under noisy mini-batch gradients. Experiments on CIFAR and ImageNet benchmarks show that GGR improves representative OSSL baselines in most settings and yields gains in both closed-set generalization and open-set robustness. Code will be available at https://github.com/JiaheChen2002/GGR.
- Abstract(参考訳): オープンセット半教師付き学習は、分散クラスのパフォーマンスを維持しながら、配布外アウトレーヤを含む可能性のあるラベルなしデータを活用することを目的としている。
既存の手法は主に、疑わしいサンプルをフィルタリングするか、ラベルなしの目的をソフトな重み付けに組み込むという2つのパラダイムに従っている。
攻撃的フィルタリングは情報的だがハードなIDサンプルを捨てることが可能であり、一方、利用は疑似ラベルが間違っている場合に教師付き学習と矛盾する補助的な勾配を導入することができる。
したがって、サンプル選択から勾配レベル制御へ焦点を移す。
本稿では,教師付き勾配をアンカーとして使用するプラグインフレームワークである‘textit{Geometric Gradient Rectification} (GGR) を提案する。
これにより、適用された補助的な更新は修正された座標ブロック内で一階の非対位化を可能とし、なおも有用な表現信号を持つ直交成分を保存することができる。
我々はさらにGGRをサブスペース対応の補正により拡張し、ノイズの多いミニバッチ勾配下でアンカーを安定化させる。
CIFARとImageNetベンチマークの実験により、GGRはほとんどの設定において代表的OSSLベースラインを改善し、クローズドセットの一般化とオープンセットの堅牢性の両方で利益を得ることが示された。
コードはhttps://github.com/JiaheChen2002/GGRで入手できる。
関連論文リスト
- Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards [24.636191382674184]
グラディエント・リワード(GAR)は政策の勾配空間で機能する。
Cコサインと専門家-アンカー勾配の類似性は、密度の高い推論-認識の報酬をもたらす。
論文 参考訳(メタデータ) (2026-09-03T04:00:28Z) - Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning [21.543362368449156]
スプリットラーニングにおける勾配マッチング攻撃(GMA)は、批判的だが未解明の仮定に依存している。
この一貫性により、好奇心の強いサーバは、観測結果に誘導勾配が説明されるシーケンスを探索することで、プライベートラベルを復元することができる。
本稿では,後方信号の最適化性を捨てることなく,この一貫性を損なうディフェンスであるグラディエントミラージュを提案する。
論文 参考訳(メタデータ) (2026-08-19T10:20:33Z) - Manifold-Aligned Guided Integrated Gradients for Reliable Feature Attribution [26.87015322424142]
統合勾配(IG)は、ベースラインと入力の間の積分経路がノイズ勾配のある領域を通過するとき、信頼できない説明が得られる。
本稿では,事前学習した変分オートエンコーダの潜在空間における帰属経路を構成するemphManifold-Aligned Guided Integrated Gradients (MA-GIG)を提案する。
論文 参考訳(メタデータ) (2026-05-04T02:56:29Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳(メタデータ) (2026-04-01T14:32:15Z) - The Devil Is in Gradient Entanglement: Energy-Aware Gradient Coordinator for Robust Generalized Category Discovery [76.35318747478522]
Energy-Aware Gradient Coordinator (EAGC) は、最適化プロセスを明示的に制御するプラグイン・アンド・プレイの勾配モジュールである。
EAGCはAnchor-based Gradient Alignment (AGA)とEnergy-Aware Elastic Projection (EEP)の2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2026-03-25T14:58:42Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z) - Gradient Correction beyond Gradient Descent [63.33439072360198]
勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。
勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。
実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-03-16T01:42:25Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。