論文の概要: Similarity-Distance-Magnitude Activations

• arxiv url: http://arxiv.org/abs/2509.12760v1
• Date: Tue, 16 Sep 2025 07:19:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.943593
• Title: Similarity-Distance-Magnitude Activations
• Title（参考訳）: 類似性-距離-マグニチュード活性化
• Authors: Allen Schmaltz,
• Abstract要約: 類似距離運動(SDM)の活性化関数はソフトマックス関数よりも頑健である。 密マッチングにより、解釈可能性と類似性を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a more robust and interpretable formulation of the standard softmax activation function commonly used with neural networks by adding Similarity (i.e., correctly predicted depth-matches into training) awareness and Distance-to-training-distribution awareness to the existing output Magnitude (i.e., decision-boundary) awareness. When used as the final-layer activation with language models, the resulting Similarity-Distance-Magnitude (SDM) activation function is more robust than the softmax function to co-variate shifts and out-of-distribution inputs in high-probability regions, and provides interpretability-by-exemplar via dense matching. Complementing the prediction-conditional estimates, the SDM activation enables a partitioning of the class-wise empirical CDFs to guard against low class-wise recall among selective classifications. These properties make it preferable for selective classification, even when considering post-hoc calibration methods over the softmax.
• Abstract（参考訳）: ニューラルネットワークで一般的に使用される標準ソフトマックスアクティベーション関数のより堅牢で解釈可能な定式化は、類似性(トレーニングにおける深度マッチの正確な予測)認識と、既存の出力Magnitude(意思決定境界)認識への距離-学習-分布認識を追加することで実現される。 言語モデルによる最終層アクティベーションとして使用する場合、結果のSDM(Simisity-Distance-Magnitude)アクティベーション関数は、高確率領域における共変量シフトや分布外入力に対してソフトマックス関数よりも頑健であり、密なマッチングを通じて解釈可能性を提供する。 予測条件の推定を補完し、SDMアクティベーションは、クラスワイドの経験的CDFのパーティショニングを可能にし、選択された分類のクラスワイドリコールに対するガードを可能にする。 これらの性質は、ソフトマックス上のポストホックキャリブレーション法を考慮しても、選択的分類に好適である。

関連論文リスト

• Similarity-Distance-Magnitude Universal Verification [0.0]
  本研究では,不確実性を考慮した検証と解釈可能性を考慮したSDMネットワークを本質的特性として構築する。 これらの結果を実装したオープンソースソフトウェアを提供する。
  論文  参考訳（メタデータ） (2025-02-27T15:05:00Z)
• Post-hoc Probabilistic Vision-Language Models [51.12284891724463]
  視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。 追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。 この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-12-08T18:16:13Z)
• PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation [6.181548939188321]
  動的環境における実世界の視覚モデルは、領域分布の急激なシフトに直面し、認識性能が低下する。 本研究では,これらの変化領域に対して事前学習した音源識別モデルを調整するための連続テスト時間適応(CTTA)を提案する。 我々は, CIFAR-10C, CIFAR-100C, ImageNet-Cで画像分類実験を行い, 従来の手法に比べて優れた有効性を示した。
  論文  参考訳（メタデータ） (2024-03-15T19:35:10Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。