論文の概要: Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity

• arxiv url: http://arxiv.org/abs/2506.11035v1
• Date: Wed, 21 May 2025 01:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.499
• Title: Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity
• Title（参考訳）: トヴェリスキーニューラルネット:トヴェリスキーの類似性の違いによる心理的にプラウジブルな深層学習
• Authors: Moussa Koulako Bala Doumbouya, Dan Jurafsky, Christopher D. Manning,
• Abstract要約: 我々は、勾配降下によって学習可能なトヴェルスキーの類似性の微分可能なパラメータ化を開発する。 トヴェルスキー射影層は線形射影層に有利な置換であることを示す。
• 参考スコア（独自算出の注目度）: 58.49857504786894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Work in psychology has highlighted that the geometric model of similarity standard in deep learning is not psychologically plausible because its metric properties such as symmetry do not align with human perception. In contrast, Tversky (1977) proposed an axiomatic theory of similarity based on a representation of objects as sets of features, and their similarity as a function of common and distinctive features. However, this model has not been used in deep learning before, partly due to the challenge of incorporating discrete set operations. We develop a differentiable parameterization of Tversky's similarity that is learnable through gradient descent, and derive neural network building blocks such as the Tversky projection layer, which unlike the linear projection layer can model non-linear functions such as XOR. Through experiments with image recognition and language modeling, we show that the Tversky projection layer is a beneficial replacement for the linear projection layer, which employs geometric similarity. On the NABirds image classification task, a frozen ResNet-50 adapted with a Tversky projection layer achieves a 24.7% relative accuracy improvement over the linear layer adapter baseline. With Tversky projection layers, GPT-2's perplexity on PTB decreases by 7.5%, and its parameter count by 34.8%. Finally, we propose a unified interpretation of both projection layers as computing similarities of input stimuli to learned prototypes, for which we also propose a novel visualization technique highlighting the interpretability of Tversky projection layers. Our work offers a new paradigm for thinking about the similarity model implicit in deep learning, and designing networks that are interpretable under an established theory of psychological similarity.
• Abstract（参考訳）: 心理学における研究は、深層学習における類似性標準の幾何学的モデルは、対称性などの計量的性質が人間の知覚と一致しないため、心理的に妥当でないことを強調している。 対照的に、Tversky (1977) は、対象を特徴の集合として表現し、それらの類似性を共通かつ特異な特徴の関数として扱うことに基づく類似性の公理理論を提案した。 しかし、このモデルは、離散的な集合演算を組み込むことの難しさから、ディープラーニングでは使われていない。 線形射影層とは異なり、線形射影層はXORのような非線形関数をモデル化できるため、勾配降下によって学習可能なトヴェリスキー類似性の微分可能なパラメータ化と、トヴェリスキー射影層のようなニューラルネットワーク構築ブロックを導出する。 画像認識と言語モデリングによる実験により, トヴェルスキー射影層は幾何学的類似性を利用する線形射影層に有利な代替となることを示した。 NABirdsの画像分類タスクでは、Tverskyプロジェクション層に適合した凍結したResNet-50が、線形層アダプタベースラインに対して24.7%の精度向上を実現している。 トヴェルスキー射影層では、PT-2のPSBのパープレキシティは7.5%減少し、パラメータは34.8%減少する。 最後に,2つのプロジェクション層を,学習したプロトタイプに対する入力刺激の類似性の計算として統一的に解釈し,トヴェルスキー射影層の解釈性を強調する新しい可視化手法を提案する。 我々の研究は、ディープラーニングにおいて暗黙的に類似性モデルを考えるための新しいパラダイムを提供し、心理学的類似性の確立された理論の下で解釈可能なネットワークを設計する。

関連論文リスト

• Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 層間の表現が正の相関を示し、層が近づくと類似度が増加する。 浅い層の有効性を向上させるためのアライメント・トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
  ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。 我々は69の最先端画像ネット分類器を大規模に解析する。 我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-20T16:56:47Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Contrastive Similarity Matching for Supervised Learning [13.750624267664156]
  本稿では,腹側視覚路の観察と深部神経回路の訓練によって動機付けられた,生物学的に有望な信用代入問題の解法を提案する。 どちらの場合も、同じ圏に属する対象の表現は徐々に類似し、異なる圏に属する対象はより類似しなくなる。 我々は、この概念を、目的関数と対比した対照的な類似性を用いて定式化し、フィードフォワード、横、フィードバック接続を持つ深層ニューラルネットワークから導出する。
  論文  参考訳（メタデータ） (2020-02-24T17:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。