論文の概要: Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2409.06362v1
- Date: Tue, 10 Sep 2024 09:32:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 18:19:52.468990
- Title: Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおける接続概念の凸性と人間-機械配向
- Authors: Teresa Dorszewski, Lenka Tětková, Lorenz Linhardt, Lars Kai Hansen,
- Abstract要約: ニューラルネットワークと人間の認知プロセスの整合性を理解することは、より解釈可能で信頼性の高いAIシステムを開発するための重要なステップである。
認知タスクにおける人間との類似関係を反映した2つの次元の相関関係を同定する。
これは、人間と機械のアライメント間の関係の凸性を理解するための第一歩である。
- 参考スコア（独自算出の注目度）: 3.001674556825579
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how neural networks align with human cognitive processes is a crucial step toward developing more interpretable and reliable AI systems. Motivated by theories of human cognition, this study examines the relationship between \emph{convexity} in neural network representations and \emph{human-machine alignment} based on behavioral data. We identify a correlation between these two dimensions in pretrained and fine-tuned vision transformer models. Our findings suggest that the convex regions formed in latent spaces of neural networks to some extent align with human-defined categories and reflect the similarity relations humans use in cognitive tasks. While optimizing for alignment generally enhances convexity, increasing convexity through fine-tuning yields inconsistent effects on alignment, which suggests a complex relationship between the two. This study presents a first step toward understanding the relationship between the convexity of latent representations and human-machine alignment.
- Abstract（参考訳）: ニューラルネットワークと人間の認知プロセスの整合性を理解することは、より解釈可能で信頼性の高いAIシステムを開発するための重要なステップである。
本研究では,人間の認知理論に触発され,ニューラルネットワーク表現における「emph{convexity}」と「emph{human-machine alignment}」の関係を行動データに基づいて検討した。
予め訓練された視覚変換器モデルと微調整された視覚変換器モデルとの相関関係を同定する。
以上の結果から,ニューラルネットワークの潜在空間に形成される凸領域は,人間の定義したカテゴリとある程度一致し,認知タスクにおいて人間が使用する類似性関係を反映していることが示唆された。
アライメントの最適化は一般に凸性を高めるが、細調整による凸性の増加はアライメントに矛盾する影響を生じさせ、両者の複雑な関係が示唆される。
本研究は、潜在表現の凸性と人間と機械のアライメントの関係を理解するための第一歩である。
関連論文リスト
- Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。
トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。
結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
論文 参考訳（メタデータ） (2023-06-15T08:18:29Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - Human alignment of neural network representations [22.671101285994013]
ニューラルネットワークで学習した表現と行動応答から推定される人間の心的表現のアライメントに影響を与える要因について検討する。
モデルスケールとアーキテクチャは基本的に人間の行動応答に影響を与えないことがわかった。
食物や動物などの人間の概念はニューラルネットワークによってよく表現されているのに対し、ロイヤルやスポーツ関連の物体はそうではない。
論文 参考訳（メタデータ） (2022-11-02T15:23:16Z) - The world seems different in a social context: a neural network analysis
of human experimental data [57.729312306803955]
本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。
トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
論文 参考訳（メタデータ） (2022-03-03T17:19:12Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Learning Interpretable Models for Coupled Networks Under Domain
Constraints [8.308385006727702]
脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。
相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。
ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
論文 参考訳（メタデータ） (2021-04-19T06:23:31Z) - On 1/n neural representation and robustness [13.491651740693705]
実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。
本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
論文 参考訳（メタデータ） (2020-12-08T20:34:49Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。