Fugu-MT 論文翻訳(概要): Inverse distance weighting attention

論文の概要: Inverse distance weighting attention

arxiv url: http://arxiv.org/abs/2310.18805v2
Date: Wed, 6 Dec 2023 21:06:07 GMT
ステータス: 処理完了
システム内更新日: 2023-12-08 18:13:11.912460
Title: Inverse distance weighting attention
Title（参考訳）: 逆距離重み付け注意
Authors: Calvin McCarter
Abstract要約: この形態の注意は逆距離重み付けを単純化する。そこで本研究では, 手動で構築したプロトタイプを用いて, 特殊ケースの低インパクト処理を行うことにより, 解釈可能なネットワークを拡張可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We report the effects of replacing the scaled dot-product (within softmax) attention with the negative-log of Euclidean distance. This form of attention simplifies to inverse distance weighting interpolation. Used in simple one hidden layer networks and trained with vanilla cross-entropy loss on classification problems, it tends to produce a key matrix containing prototypes and a value matrix with corresponding logits. We also show that the resulting interpretable networks can be augmented with manually-constructed prototypes to perform low-impact handling of special cases.
Abstract（参考訳）: ユークリッド距離の負のログに拡大した点積(ソフトマックス)の注意を置き換える効果を報告する。このような注意は、逆距離重み付け補間を単純化する。単純な1つの隠れ層ネットワークで使われ、分類問題においてバニラクロスエントロピー損失で訓練され、プロトタイプを含むキーマトリックスと対応するロジットを持つ値行列を生成する傾向がある。また,解析可能なネットワークを手作業で構築したプロトタイプで拡張することで,特殊ケースの低インパクト処理を実現できることを示す。

関連論文リスト

SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文参考訳（メタデータ） (2024-07-23T20:34:23Z)
Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
論文参考訳（メタデータ） (2024-06-06T14:01:28Z)
QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。これにより、ネットワークは微妙な入力摂動から学習することができる。量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文参考訳（メタデータ） (2024-05-22T17:34:18Z)
Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文参考訳（メタデータ） (2023-07-04T02:50:44Z)
Irregularly-Sampled Time Series Modeling with Spline Networks [0.0]
本稿では,スプラインをニューラルネットワークへの入力として,特に補間関数に直接変換を適用することを提案する。これにより、不規則なシーケンスをコンパクトに表現し、分類や予測といった下流タスクでこの表現を使用することができる。
論文参考訳（メタデータ） (2022-10-19T15:05:41Z)
Entangled Residual Mappings [59.02488598557491]
残余接続の構造を一般化するために、絡み合った残余写像を導入する。絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-06-02T19:36:03Z)
Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
論文参考訳（メタデータ） (2021-07-12T22:43:11Z)
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文参考訳（メタデータ） (2021-05-15T11:44:49Z)
Use square root affinity to regress labels in semantic segmentation [1.544681800932596]
本稿では,アフィニティ行列とラベルを関連付け,教師付き方法でアフィニティを利用する。アフィニティ回帰損失(英: affinity regression loss、arlos)は、ペア間の類似性ペナルティを提供する補助的損失である。我々のモデルは訓練が容易であり、実行時推論なしで計算負荷をほとんど加えない。
論文参考訳（メタデータ） (2021-03-07T12:49:27Z)
Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
論文参考訳（メタデータ） (2020-11-18T03:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。