Fugu-MT 論文翻訳(概要): Relational Knowledge Distillation Brings DNN Representations Close Enough to Humans to Be Aligned Without Supervision

論文の概要: Relational Knowledge Distillation Brings DNN Representations Close Enough to Humans to Be Aligned Without Supervision

arxiv url: http://arxiv.org/abs/2608.27877v1
Date: Fri, 28 Aug 2026 03:32:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.193345
Title: Relational Knowledge Distillation Brings DNN Representations Close Enough to Humans to Be Aligned Without Supervision
Title（参考訳）: DNN表現を人間に近づける関係知識蒸留
Abstract要約: ディープニューラルネットワーク(DNN)の内部表現は、人間の視覚の計算モデルとしてDNNを使用する上で重要である。これまでの研究では、人間-DNNの表現的類似性の改善が報告されている。我々は、知識蒸留による微調整済みのDNNが、DNNを人間に十分接近させ、個々の対象レベルで整列させることを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Linking the internal representations of deep neural networks (DNNs) to human mental representations is important for using DNNs as computational models of human vision. Existing DNN representations remain insufficiently similar to human mental representations, which are not directly observable and are therefore commonly measured through large-scale similarity judgments of object images. A natural approach to narrowing this gap is to directly transfer the relational structure of human representations into DNNs, and previous studies have reported improved human-DNN representational similarity. However, whether this improvement holds under stricter evaluation remains untested in two respects: fine-grained alignment at the individual-object level, and generalization to a human embedding derived from a dataset independent of the training data. Here, we employ an unsupervised comparison method, Gromov-Wasserstein optimal transport (GWOT), which estimates human-DNN correspondences from the internal distance structure alone and thereby tests fine-grained alignment. We further assess generalization on a curated test set of concepts non-overlapping with the training data. We show that fine-tuning pre-trained DNNs with Relational Knowledge Distillation (RKD), an established relational transfer method, brings DNNs close enough to humans to be aligned at the individual-object level on this test set. We also show that this improvement is driven by a more human-like global structure, as reflected in the ordering of distances among coarse categories, while the local human-DNN nearest-neighbor overlap rate remains largely unchanged. These findings indicate that relational transfer from humans brings the global structure of pre-trained DNNs close enough to the human structure to enable fine-grained human-DNN alignment without supervision.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の内部表現を人間のメンタル表現にリンクすることは、人間の視覚の計算モデルとしてDNNを使用する上で重要である。既存のDNN表現は、直接観察できない人間の精神表現と不十分に類似しており、それゆえ、オブジェクト画像の大規模な類似性判定によって一般的に測定される。このギャップを狭めるための自然なアプローチは、人間の表現のリレーショナル構造を直接DNNに移すことである。しかし、この改善がより厳密な評価の下で達成されるかどうかについては、個々のオブジェクトレベルでのきめ細かいアライメントと、トレーニングデータに依存しないデータセットから派生した人間の埋め込みへの一般化の2つの点で検証されていない。本稿では,Gromov-WassersteinOptimal Transport (GWOT) という教師なし比較手法を用いて,内部距離構造のみから人間-DNN対応を推定し,微粒なアライメントを検査する。さらに、トレーニングデータと重複しない概念のキュレートされたテストセットの一般化を評価する。リレーショナル・ナレッジ・蒸留法(RKD)を用いた微調整済みDNNは,人間に十分近い距離でDNNを配置できることを示す。また、この改良は、粗いカテゴリー間の距離の順に反映されるように、より人間的なグローバルな構造によってもたらされる。これらの結果から, 人体からのリレーショナルトランスファーは, 人体に十分に近接する事前訓練DNNのグローバル構造をもたらし, 監督なしに細粒度の人間-DNNアライメントを可能にすることが示唆された。

関連論文リスト

Accuracy Does Not Guarantee Human-Likeness in Monocular Depth Estimators [2.466518228012258]
ディープニューラルネットワーク(DNN)は、物理ベースのベンチマークで超人的精度を達成した。単眼深度推定は、自律運転やロボット工学のような現実世界のアプリケーションにとって基本的な能力である。物体認識の研究は、モデル精度と人間のような振る舞いの間の複雑なトレードオフを明らかにしている。
論文参考訳（メタデータ） (2025-12-09T01:42:00Z)
Dimensions underlying the representational alignment of deep neural networks with humans [3.1668470116181817]
本稿では,人間とAIの表現を比較するための汎用フレームワークを提案する。このフレームワークを人間に適用し、自然画像のディープニューラルネットワーク(DNN)モデルにより、視覚次元と意味次元の両方の低次元DNN埋め込みが明らかになった。シリコン内実験では、DNN次元が一貫した解釈可能性を示したが、人間とDNN表現の直接比較により、画像の処理方法にかなりの違いが認められた。
論文参考訳（メタデータ） (2024-06-27T11:14:14Z)
Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
論文参考訳（メタデータ） (2024-04-22T04:16:40Z)
Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文参考訳（メタデータ） (2023-05-02T22:15:54Z)
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文参考訳（メタデータ） (2022-12-18T08:17:32Z)
On the Relationship Between Adversarial Robustness and Decision Region in Deep Neural Networks [24.82243003178264]
敵攻撃時のモデルロバスト性に影響を与えるディープニューラルネットワーク(DNN)の内部特性について検討する。本稿では,より頻度の高いトレーニングサンプルを配置するPRS(Populated Region Set)の概念を提案する。
論文参考訳（メタデータ） (2022-07-07T16:06:34Z)
Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文参考訳（メタデータ） (2021-08-02T18:00:38Z)
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文参考訳（メタデータ） (2021-02-17T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。