論文の概要: Bilinear autoencoders find interpretable manifolds

• arxiv url: http://arxiv.org/abs/2605.08891v1
• Date: Sat, 09 May 2026 11:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.957809
• Title: Bilinear autoencoders find interpretable manifolds
• Title（参考訳）: 双線型自己エンコーダは解釈可能な多様体を見つける
• Abstract要約: 重み空間を線形に構成し,入力非依存の幾何解析を許容する,二線形オートエンコーダを用いた二次潜水器を実装した。 実験と可視化により,多次元のジオメトリーが広く普及し,複合潜水剤がよく捕獲できることが判明した。 実際、これらのモデルは、Qwen 3.5のインタラクティブなオンラインビジュアライゼーションを通じて、多様体発見の教師なしツールとして機能する。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders have become a standard tool for uncovering interpretable latent representations in neural networks. Yet salient concepts often span manifolds that current linear methods cannot capture without post hoc analysis. This paper uses quadratic latents to close this gap: we implement these with bilinear autoencoders, which decompose activations into low-rank quadratic forms, compose linearly in weight space, and admit input-independent geometric analysis. This qualitative difference in what concepts quadratic latents can detect challenges the standard linear representation hypothesis. Our experiments and visualisations show that multi-dimensional geometries are highly prevalent and that composite latents capture them well, systematically improving reconstruction error in language models. Furthermore, we show that autoencoders with varying geometric priors recover the same input subspace despite their dictionary entries being distinct. Practically, these models serve as an unsupervised tool for manifold discovery, which we demonstrate through an interactive online visualizer for Qwen 3.5. This is a step toward nonlinear but mathematically tractable latent representations whose composition is expressive and interpretable by design.
• Abstract（参考訳）: スパースオートエンコーダは、ニューラルネットワークで解釈可能な潜在表現を明らかにするための標準ツールとなっている。 しかし、厳密な概念は、しばしば、現在の線形法がポストホック解析なしでは取得できない多様体にまたがる。 本稿では、このギャップを埋めるために二次潜水器を使用し、これらを双線形オートエンコーダで実装し、活性化を低ランクの二次形式に分解し、重み空間で線形に構成し、入力非依存の幾何学的解析を許容する。 この2次ラテントの概念の質的な違いは、標準線型表現仮説の課題を検出できる。 実験と可視化により,多次元のジオメトリーが広く普及し,複合潜伏剤がそれらをうまく捉え,言語モデルにおける再構成誤差を体系的に改善することを示した。 さらに,辞書のエントリが異なるにもかかわらず,様々な幾何学的先行性を持つオートエンコーダが同一の入力部分空間を復元することを示す。 実際、これらのモデルは、Qwen 3.5のインタラクティブなオンラインビジュアライゼーションを通じて、多様体発見の教師なしツールとして機能する。 これは、合成が表現的で設計によって解釈可能な非線形だが数学的に抽出可能な潜在表現への一歩である。

関連論文リスト

• Finding Manifolds With Bilinear Autoencoders [0.8594140167290097]
  多項式は、入力を参照せずに分析できるプリミティブとして機能する。 本稿では, 順序付け, クラスタリング, アクティベーション空間を重要視する改良について論じる。 これは、その特性を通して分析可能なラテントへの最初のステップである。
  論文  参考訳（メタデータ） (2025-10-19T13:17:14Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
  本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。 本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。 提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:59Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Autoencoder Image Interpolation by Shaping the Latent Space [12.482988592988868]
  オートエンコーダは、異なるタイプのデータセットを特徴付ける基礎となる要因を計算するための効果的なアプローチである。 トレーニング画像と整合した多様体に従うために潜在表現を形作る正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-04T12:32:54Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。