論文の概要: Finding Manifolds With Bilinear Autoencoders

• arxiv url: http://arxiv.org/abs/2510.16820v1
• Date: Sun, 19 Oct 2025 13:17:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.165899
• Title: Finding Manifolds With Bilinear Autoencoders
• Title（参考訳）: 双線形オートエンコーダを用いたマニフォールドの発見
• Authors: Thomas Dooms, Ward Gauderis,
• Abstract要約: 多項式は、入力を参照せずに分析できるプリミティブとして機能する。 本稿では, 順序付け, クラスタリング, アクティベーション空間を重要視する改良について論じる。 これは、その特性を通して分析可能なラテントへの最初のステップである。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders are a standard tool for uncovering interpretable latent representations in neural networks. Yet, their interpretation depends on the inputs, making their isolated study incomplete. Polynomials offer a solution; they serve as algebraic primitives that can be analysed without reference to input and can describe structures ranging from linear concepts to complicated manifolds. This work uses bilinear autoencoders to efficiently decompose representations into quadratic polynomials. We discuss improvements that induce importance ordering, clustering, and activation sparsity. This is an initial step toward nonlinear yet analysable latents through their algebraic properties.
• Abstract（参考訳）: スパースオートエンコーダは、ニューラルネットワークで解釈可能な潜在表現を明らかにするための標準ツールである。 しかし、それらの解釈は入力に依存するため、独立した研究は不完全である。 それらは、入力に言及せずに解析できる代数的原始体として機能し、線型概念から複雑な多様体までの範囲の構造を記述することができる。 この研究は双線型オートエンコーダを用いて表現を2次多項式に効率的に分解する。 本稿では, 順序付け, クラスタリング, アクティベーション空間を重要視する改良について論じる。 これは、非線形で解析可能なラテントへの最初のステップである。

関連論文リスト

• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Unveiling and Steering Connectome Organization with Interpretable Latent Variables [11.702970031377307]
  本研究では,ショウジョウバエのコネクトームFlyWireからのサブグラフ抽出と,神経回路の解釈可能な低次元表現を導出するための生成モデルを提案する。 この研究は、脳のアーキテクチャを理解するための新しいツールと、バイオインスパイアされた人工ニューラルネットワークを設計するための潜在的な道筋を提供する。
  論文  参考訳（メタデータ） (2025-05-19T11:54:40Z)
• Bilinear Convolution Decomposition for Causal RL Interpretability [0.0]
  強化学習(RL)モデルを解釈する試みは、しばしば帰属や探究のような高度な技術に依存している。 本研究では、畳み込みニューラルネットワーク(ConvNets)の非線形性を双線型変種に置き換え、これらの制限に対処可能なモデルのクラスを作成することを提案する。 モデルフリー強化学習環境では,バイリニアモデルの変形が相容れないことを示し,ProcGen環境上での並べ比較を行う。
  論文  参考訳（メタデータ） (2024-12-01T19:32:04Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• A technical note on bilinear layers for interpretability [0.0]
  双線型層は数学的に解析し易いタイプの層である。 バイリニア層に対するこの表現を変換回路の数学的枠組みに統合することができる。
  論文  参考訳（メタデータ） (2023-05-05T11:56:26Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Decoupling multivariate functions using a nonparametric filtered tensor decomposition [0.29360071145551075]
  疎結合技術は、非線形性の代替表現を提供することを目的としている。 いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。 本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:34:17Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。