論文の概要: Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU

• arxiv url: http://arxiv.org/abs/2503.15166v1
• Date: Wed, 19 Mar 2025 12:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:26:17.924841
• Title: Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU
• Title（参考訳）: 双曲型対ユークリッド型マルチモーダル型コントラスト学習における機械的アンラーニング--MERUへのアライメント校正の適用
• Authors: Àlex Pujol Vidal, Sergio Escalera, Kamal Nasrollahi, Thomas B. Moeslund,
• Abstract要約: 本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
• 参考スコア（独自算出の注目度）: 50.9588132578029
• License:
• Abstract: Machine unlearning methods have become increasingly important for selective concept removal in large pre-trained models. While recent work has explored unlearning in Euclidean contrastive vision-language models, the effectiveness of concept removal in hyperbolic spaces remains unexplored. This paper investigates machine unlearning in hyperbolic contrastive learning by adapting Alignment Calibration to MERU, a model that embeds images and text in hyperbolic space to better capture semantic hierarchies. Through systematic experiments and ablation studies, we demonstrate that hyperbolic geometry offers distinct advantages for concept removal, achieving near perfect forgetting with reasonable performance on retained concepts, particularly when scaling to multiple concept removal. Our approach introduces hyperbolic-specific components including entailment calibration and norm regularization that leverage the unique properties of hyperbolic space. Comparative analysis with Euclidean models reveals fundamental differences in unlearning dynamics, with hyperbolic unlearning reorganizing the semantic hierarchy while Euclidean approaches merely disconnect cross-modal associations. These findings not only advance machine unlearning techniques but also provide insights into the geometric properties that influence concept representation and removal in multimodal models. Source code available at https://github.com/alex-pv01/HAC
• Abstract（参考訳）: マシンアンラーニング手法は、大規模な事前学習モデルにおいて、選択的な概念除去のためにますます重要になっている。 近年の研究では、ユークリッドの対照的な視覚言語モデルにおける未学習について検討されているが、双曲空間における概念除去の有効性は未解明のままである。 本稿では,多言語空間に画像やテキストを埋め込んで意味的階層を捉えるモデルであるMERUにアライメント校正を適用することで,双曲型コントラスト学習における機械学習について検討する。 体系的な実験とアブレーション研究を通じて、双曲幾何学は概念の除去に明確な利点をもたらし、特に複数の概念の除去にスケールする場合に、保持された概念に対する適切な性能でほぼ完全に忘れられることを実証した。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。 ユークリッドモデルとの比較分析は、非学習力学の基本的な相違を明らかにし、双曲的非学習は意味的階層を再編成する一方、ユークリッドのアプローチは単に相互モーダルな関連を切断するだけである。 これらの知見は、先進的な機械アンラーニング技術だけでなく、マルチモーダルモデルにおける概念表現と除去に影響を与える幾何学的特性に関する洞察を与える。 ソースコードはhttps://github.com/alex-pv01/HACで入手できる。

関連論文リスト

• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction [76.5549647815413]
  ハイパボリック空間,すなわち動的ハイパボリック注意ネットワーク(DHANet)における最初の正確な手オブジェクト再構成手法を提案する。 本手法は,マルチモーダル情報によりメッシュ特性を学習し,手動物体の相互作用をより良くモデル化する。
  論文  参考訳（メタデータ） (2023-09-06T13:00:10Z)
• Hyperbolic Representation Learning: Revisiting and Advancing [43.1661098138936]
  本稿では,現在普及しているhlmを精査する位置追跡機構を導入し,学習された表現が準最適で不満足であることを明らかにする。 本稿では,ノードの双曲的距離から推定されるコストフリーな階層的情報を原点に組み込むことにより,シンプルで効果的な情報埋め込み手法であるハイボリックインフォメーション(HIE)を提案する。 提案手法は, 競合するベースラインに比べて最大21.4%向上した。
  論文  参考訳（メタデータ） (2023-06-15T13:25:39Z)
• HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes [7.665392786787577]
  プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
  論文  参考訳（メタデータ） (2023-05-18T12:38:40Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Hyperbolic Manifold Regression [33.40757136529844]
  本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。 本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。 実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
  論文  参考訳（メタデータ） (2020-05-28T10:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。