論文の概要: Self Identity Mapping
- arxiv url: http://arxiv.org/abs/2509.18165v1
- Date: Wed, 17 Sep 2025 07:52:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.441658
- Title: Self Identity Mapping
- Title（参考訳）: 自己同一性マッピング
- Authors: Xiuding Cai, Yaoyao Zhu, Linjie Fu, Dong Miao, Yu Yao,
- Abstract要約: 自己同一性マッピング(英: Self Identity Mapping, SIM)は、データ固有の正規化フレームワークであり、表現学習を強化するために逆マッピング機構を利用する。
モデルに依存しないタスクに依存しない正規化器として、SIMはプラグイン・アンド・プレイモジュールとしてシームレスに統合できる。
我々は、画像分類、数発のプロンプト学習、ドメイン一般化という3つのタスクにまたがって、$rhotextSIM$を広範囲に評価した。
- 参考スコア（独自算出の注目度）: 5.887119990422003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization is essential in deep learning to enhance generalization and mitigate overfitting. However, conventional techniques often rely on heuristics, making them less reliable or effective across diverse settings. We propose Self Identity Mapping (SIM), a simple yet effective, data-intrinsic regularization framework that leverages an inverse mapping mechanism to enhance representation learning. By reconstructing the input from its transformed output, SIM reduces information loss during forward propagation and facilitates smoother gradient flow. To address computational inefficiencies, We instantiate SIM as $ \rho\text{SIM} $ by incorporating patch-level feature sampling and projection-based method to reconstruct latent features, effectively lowering complexity. As a model-agnostic, task-agnostic regularizer, SIM can be seamlessly integrated as a plug-and-play module, making it applicable to different network architectures and tasks. We extensively evaluate $\rho\text{SIM}$ across three tasks: image classification, few-shot prompt learning, and domain generalization. Experimental results show consistent improvements over baseline methods, highlighting $\rho\text{SIM}$'s ability to enhance representation learning across various tasks. We also demonstrate that $\rho\text{SIM}$ is orthogonal to existing regularization methods, boosting their effectiveness. Moreover, our results confirm that $\rho\text{SIM}$ effectively preserves semantic information and enhances performance in dense-to-dense tasks, such as semantic segmentation and image translation, as well as in non-visual domains including audio classification and time series anomaly detection. The code is publicly available at https://github.com/XiudingCai/SIM-pytorch.
- Abstract（参考訳）: 正規化は、一般化を促進し、オーバーフィッティングを軽減するために、ディープラーニングにおいて不可欠である。
しかし、従来の手法は、しばしばヒューリスティックスに依存しており、様々な設定で信頼性が低く、効果的である。
本稿では,自己同一性マッピング(SIM)を提案する。これは,逆マッピング機構を活用して表現学習を強化する,シンプルで効果的なデータ固有の正規化フレームワークである。
変換された出力から入力を再構成することにより、SIMは前方伝播時の情報損失を低減し、よりスムーズな勾配流を容易にする。
SIM を $ \rho\text{SIM} $ として、パッチレベルの特徴サンプリングとプロジェクションベースの手法を取り入れて、遅延した特徴を再構成し、複雑さを効果的に減らし、計算不効率に対処する。
モデルに依存しないタスク非依存の正規化器として、SIMはプラグイン・アンド・プレイモジュールとしてシームレスに統合され、異なるネットワークアーキテクチャやタスクに適用できる。
画像分類,数発のプロンプト学習,ドメイン一般化という3つのタスクにまたがって,$\rho\text{SIM}$を広く評価した。
実験の結果、ベースラインメソッドよりも一貫した改善が見られ、様々なタスクにおける表現学習を強化する$\rho\text{SIM}$の能力を強調した。
また、$\rho\text{SIM}$ が既存の正規化法と直交していることが示され、それらの効果が促進される。
さらに、$\rho\text{SIM}$は意味情報を効果的に保存し、セマンティックセグメンテーションや画像翻訳などの密集度の高いタスクや、音声分類や時系列異常検出などの非視覚領域の性能を向上させることを確認した。
コードはhttps://github.com/XiudingCai/SIM-pytorch.comで公開されている。
関連論文リスト
- Toward Better SSIM Loss for Unsupervised Monocular Depth Estimation [14.89929051723735]
本研究は, 構造類似度指標(SSIM)の新たな形式を提案する。
元のSSIM関数と比較して、提案された新しい形式は、SSIMの輝度、コントラスト、構造的類似性に関連するコンポーネントを組み合わせるために、乗法ではなく加算を用いる。
このスキームで構築した損失関数は、よりスムーズな勾配をもたらし、教師なし深さ推定におけるより高い性能を達成するのに役立つ。
論文 参考訳（メタデータ） (2025-06-05T08:43:24Z) - Semantic-aware Representation Learning for Homography Estimation [28.70450397793246]
本研究では,検出不要な特徴マッチング手法であるSRMatcherを提案する。
マッチングペアにおける意味的不整合に起因するエラーを減らすことで、提案したSRMatcherはより正確で現実的な結果をもたらすことができる。
論文 参考訳（メタデータ） (2024-07-18T08:36:28Z) - Semantics-Aware Dynamic Localization and Refinement for Referring Image
Segmentation [102.25240608024063]
画像の参照は、言語表現からのイメージセグメントを参照する。
そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。
比較すると,本手法はより汎用的で有効である。
論文 参考訳（メタデータ） (2023-03-11T08:42:40Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳（メタデータ） (2021-05-05T17:56:00Z) - Graph Sampling Based Deep Metric Learning for Generalizable Person
Re-Identification [114.56752624945142]
我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。
大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
論文 参考訳（メタデータ） (2021-04-04T06:44:15Z) - Region Similarity Representation Learning [94.88055458257081]
Region similarity Representation Learning(ReSim)は、ローカリゼーションベースのタスクに対する自己監視型表現学習の新しいアプローチである。
ReSimはローカリゼーションのための地域表現とセマンティックイメージレベルの表現の両方を学びます。
競合するMoCo-v2ベースラインと比較して、ReSimがローカリゼーションと分類性能を大幅に向上させる表現をどのように学習するかを示します。
論文 参考訳（メタデータ） (2021-03-24T00:42:37Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。