論文の概要: Understanding Cross-Model Perceptual Invariances Through Ensemble Metamers

• arxiv url: http://arxiv.org/abs/2504.01739v1
• Date: Wed, 02 Apr 2025 13:51:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:21:19.505980
• Title: Understanding Cross-Model Perceptual Invariances Through Ensemble Metamers
• Title（参考訳）: アンサンブルメタマーによる知覚的不変性のモデル間理解
• Authors: Lukas Boehm, Jonas Leo Mueller, Christoffer Loeffler, Leo Schwinn, Bjoern Eskofier, Dario Zanca,
• Abstract要約: 本稿では,ニューラルネットワークのアンサンブルを利用したメタマー生成手法を提案する。 我々は、意味的忠実度や自然性などの要因を評価するために、画像に基づく一連の指標を用いる。 我々の研究では、畳み込みニューラルネットワークはより認識されやすく、人間に似たメタマーを生成する一方、視覚トランスフォーマーは現実的だが伝達しにくいメタマーを生成する。
• 参考スコア（独自算出の注目度）: 2.9687381456164004
• License:
• Abstract: Understanding the perceptual invariances of artificial neural networks is essential for improving explainability and aligning models with human vision. Metamers - stimuli that are physically distinct yet produce identical neural activations - serve as a valuable tool for investigating these invariances. We introduce a novel approach to metamer generation by leveraging ensembles of artificial neural networks, capturing shared representational subspaces across diverse architectures, including convolutional neural networks and vision transformers. To characterize the properties of the generated metamers, we employ a suite of image-based metrics that assess factors such as semantic fidelity and naturalness. Our findings show that convolutional neural networks generate more recognizable and human-like metamers, while vision transformers produce realistic but less transferable metamers, highlighting the impact of architectural biases on representational invariances.
• Abstract（参考訳）: 人工ニューラルネットワークの知覚的不変性を理解することは、説明可能性を改善し、モデルを人間の視覚と整合させることに不可欠である。 メタマー(Metamers) - 物理的に異なるが、同一の神経活性化を引き起こす刺激。 人工ニューラルネットワークのアンサンブルを活用し,畳み込みニューラルネットワークやビジョントランスフォーマーなど,多様なアーキテクチャにわたる共有表現部分空間をキャプチャすることで,メタマー生成に新たなアプローチを導入する。 生成したメタマーの特性を特徴付けるために,セマンティックな忠実度や自然性などの要因を評価する画像ベースの指標群を用いる。 その結果、畳み込みニューラルネットワークはより認識されやすく、人間に似たメタマーを生成するのに対し、視覚トランスフォーマーは現実的だが伝達しにくいメタマーを生成し、表現的不変性に対するアーキテクチャバイアスの影響を強調した。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Neural-MCRL: Neural Multimodal Contrastive Representation Learning for EEG-based Visual Decoding [2.587640069216139]
  脳波(EEG)を用いた脳活動からの神経視覚表現のデコードは、脳-機械界面(BMI)の進行に不可欠である 既存の手法は、しばしばモダリティ内の意味的一貫性と完全性を見落とし、モダリティ間の効果的なセマンティックアライメントを欠いている。 本稿では,セマンティックブリッジとクロスアテンション機構によるマルチモーダルアライメントを実現する新しいフレームワークであるNeural-MCRLを提案する。
  論文  参考訳（メタデータ） (2024-12-23T07:02:44Z)
• Inverting Transformer-based Vision Models [0.8124699127636158]
  本研究では,検出変換器と視覚変換器の中間層から入力画像を再構成するために,逆モデルのモジュラー手法を適用する。 我々の分析は、これらの特性がモデル内でどのように現れるかを示し、トランスフォーマーベースの視覚モデルに対する深い理解に寄与する。
  論文  参考訳（メタデータ） (2024-12-09T14:43:06Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
  深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。 この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
  論文  参考訳（メタデータ） (2023-01-25T14:37:42Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。