論文の概要: Representation biases: will we achieve complete understanding by analyzing representations?

• arxiv url: http://arxiv.org/abs/2507.22216v1
• Date: Tue, 29 Jul 2025 20:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.859874
• Title: Representation biases: will we achieve complete understanding by analyzing representations?
• Title（参考訳）: 表現バイアス:表現を分析することによって完全な理解を達成できるか?
• Authors: Andrew Kyle Lampinen, Stephanie C. Y. Chan, Yuxuan Li, Katherine Hermann,
• Abstract要約: 機械学習における最近の研究は、学習された特徴表現が過剰に表現される可能性があることを示している。 これらのバイアスは、表現分析を通じてシステムを完全に理解する上での課題となる可能性がある。
• 参考スコア（独自算出の注目度）: 8.158699242992691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common approach in neuroscience is to study neural representations as a means to understand a system -- increasingly, by relating the neural representations to the internal representations learned by computational models. However, a recent work in machine learning (Lampinen, 2024) shows that learned feature representations may be biased to over-represent certain features, and represent others more weakly and less-consistently. For example, simple (linear) features may be more strongly and more consistently represented than complex (highly nonlinear) features. These biases could pose challenges for achieving full understanding of a system through representational analysis. In this perspective, we illustrate these challenges -- showing how feature representation biases can lead to strongly biased inferences from common analyses like PCA, regression, and RSA. We also present homomorphic encryption as a simple case study of the potential for strong dissociation between patterns of representation and computation. We discuss the implications of these results for representational comparisons between systems, and for neuroscience more generally.
• Abstract（参考訳）: 神経科学における一般的なアプローチは、システムを理解する手段として神経表現を研究することである。 しかし、機械学習における最近の研究(Lampinen, 2024)は、学習された特徴表現は過剰に表現された特徴に偏りがあり、より弱く、一貫性の低い特徴を表現する可能性があることを示している。 例えば、単純(線形)な特徴は複素(非常に非線形)な特徴よりも強く、より一貫した表現である。 これらのバイアスは、表現分析を通じてシステムを完全に理解する上での課題となる可能性がある。 この視点では、これらの課題 - PCA、回帰、RSAといった一般的な分析から、機能の表現バイアスが強くバイアスされた推論にどのように結びつくかを示す。 また、表現と計算のパターン間の強い解離の可能性の単純なケーススタディとして、同型暗号を提示する。 本稿では,これらの結果がシステム間の表現的比較や神経科学全般に与える影響について論じる。

関連論文リスト

• Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis [14.275283048655268]
  我々は、オープンエンド検索プロセスを通じて進化したニューラルネットワークと、従来の勾配降下法で訓練されたネットワークを比較した。 両方のネットワークは同じ出力動作を生成するが、内部表現は劇的に異なる。 大規模なモデルでは、FERは一般化、創造性、(連続的な)学習といったコアモデルの能力が低下している可能性がある。
  論文  参考訳（メタデータ） (2025-05-16T16:28:34Z)
• Local vs distributed representations: What is the right basis for interpretability? [19.50614357801837]
  スパース分布表現から得られる特徴は、人間の観察者による解釈が容易であることを示す。 この結果から,分散表現が解釈可能性の優れた基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-06T15:34:57Z)
• Learned feature representations are biased by complexity, learning order, position, and more [4.529707672004383]
  我々は表現と計算の間の驚くべき解離を探求する。 さまざまなディープラーニングアーキテクチャをトレーニングして、入力に関する複数の抽象的な特徴を計算します。 学習した特徴表現は、他の特徴よりも強い特徴を表現するために体系的に偏っていることが分かりました。
  論文  参考訳（メタデータ） (2024-05-09T15:34:15Z)
• Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
  観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。 本研究では,観測データからこのような表現を学習するための学習手法を開発した。 理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-10-21T02:18:35Z)
• On the Complexity of Representation Learning in Contextual Linear Bandits [110.84649234726442]
  表現学習は線形帯域よりも根本的に複雑であることを示す。 特に、与えられた表現の集合で学ぶことは、その集合の中で最悪の実現可能な表現で学ぶことよりも決して単純ではない。
  論文  参考訳（メタデータ） (2022-12-19T13:08:58Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
  我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。 これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
  論文  参考訳（メタデータ） (2021-09-08T17:33:54Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。