論文の概要: softmax is not enough (for sharp out-of-distribution)

• arxiv url: http://arxiv.org/abs/2410.01104v2
• Date: Mon, 7 Oct 2024 13:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 23:10:15.065013
• Title: softmax is not enough (for sharp out-of-distribution)
• Title（参考訳）: ソフトマックスは十分ではない(分布の鋭いアウト・オブ・ディストリビューションのために)
• Authors: Petar Veličković, Christos Perivolaropoulos, Federico Barbero, Razvan Pascanu,
• Abstract要約: ソフトマックス関数は、現代のAIシステムにおけるシャープな振る舞いのキーキャリアである。 最大キーを見つけるのと同じくらい簡単なタスクの場合、学習した回路はテスト時にアイテムの数が増加するにつれて分散しなければならない。 推定時間におけるソフトマックスのシャープネスを改善するためのアドホックな手法として適応温度を提案する。
• 参考スコア（独自算出の注目度）: 16.167142726585357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key property of reasoning systems is the ability to make sharp decisions on their input data. For contemporary AI systems, a key carrier of sharp behaviour is the softmax function, with its capability to perform differentiable query-key lookups. It is a common belief that the predictive power of networks leveraging softmax arises from "circuits" which sharply perform certain kinds of computations consistently across many diverse inputs. However, for these circuits to be robust, they would need to generalise well to arbitrary valid inputs. In this paper, we dispel this myth: even for tasks as simple as finding the maximum key, any learned circuitry must disperse as the number of items grows at test time. We attribute this to a fundamental limitation of the softmax function to robustly approximate sharp functions, prove this phenomenon theoretically, and propose adaptive temperature as an ad-hoc technique for improving the sharpness of softmax at inference time.
• Abstract（参考訳）: 推論システムの重要な特性は、入力データに対して鋭い決定を行う能力である。 現代のAIシステムでは、シャープな振る舞いのキーキャリアはソフトマックス関数であり、異なるクエリキーのルックアップを実行することができる。 ソフトマックスを利用したネットワークの予測力は、様々な入力に対して一定の種類の計算を確実に行う「回路」から生じるという一般的な信念である。 しかし、これらの回路が堅牢であるためには、任意の有効な入力に対してうまく一般化する必要がある。 最大鍵を見つけるのと同じくらい簡単なタスクであっても、学習回路はテスト時に項目数が増加するにつれて分散しなければならない。 我々はこれを,ソフトマックス関数の基本的制限として,シャープ関数を頑健に近似し,理論的にこれを証明し,推定時のソフトマックスのシャープネスを改善するためのアドホックな手法として適応温度を提案する。

関連論文リスト

• MultiMax: Sparse and Multi-Modal Attention Learning [60.49318008131978]
  SoftMaxは現代の機械学習アルゴリズムのユビキタスな成分である。 分散性はSoftMaxの変種族によって達成できるが、それらはしばしば代替損失関数を必要とし、多重モダリティを保たない。 入力入力範囲に応じて出力分布を適応的に変調するMultiMaxを提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:43Z)
• Revisiting Logistic-softmax Likelihood in Bayesian Meta-Learning for Few-Shot Classification [4.813254903898101]
  ロジスティック・ソフトマックスは、多クラスガウス過程分類におけるソフトマックス可能性の代替としてしばしば用いられる。 我々は,温度パラメータによるテクティタ事前信頼度を制御できるロジスティック・ソフトマックスの可能性を再検討し,再検討する。 提案手法では, 精度の高い不確実性推定値が得られ, 標準ベンチマークデータセットにおいて, 同等あるいは優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-10-16T13:20:13Z)
• r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
  本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。 我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
  論文  参考訳（メタデータ） (2023-04-11T14:28:29Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Revisiting Softmax for Uncertainty Approximation in Text Classification [45.07154956156555]
  テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。 最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。 我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。 MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-10-25T14:13:53Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions [73.33961743410876]
  ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。 近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。 これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
  論文  参考訳（メタデータ） (2020-10-22T05:19:58Z)
• Loss Function Search for Face Recognition [75.79325080027908]
  最適な候補を自動的に獲得する報酬誘導探索法を開発した。 種々の顔認証ベンチマークの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-07-10T03:40:10Z)
• Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances [58.54078318403909]
  min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
  論文  参考訳（メタデータ） (2020-06-15T05:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。