論文の概要: Representation Alignment Rests on Linear Structure

• arxiv url: http://arxiv.org/abs/2605.28870v1
• Date: Fri, 22 May 2026 12:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.940179
• Title: Representation Alignment Rests on Linear Structure
• Title（参考訳）: 線形構造上の表現アライメントレスト
• Authors: Kiril Bangachev, Guy Bresler, Yury Polyanskiy,
• Abstract要約: 信号, バイアス, ノイズという三部構成の統計的枠組みを用いて, プラトン表現仮説(PRH)について検討する。 LRHは、疎オートエンコーダを用いた線形オブジェクト属性特徴の抽出によってPRHを説明するのに有効であることを示す。 これらのスパース表現は、密接な表現よりも強いモダルアライメントを示すことがよく示される。
• 参考スコア（独自算出の注目度）: 23.12730428237137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the Platonic Representation Hypothesis (PRH) through a tripartite statistical framework of representations: signal, bias, and noise. {1) Signal:} We propose that Platonic alignment arises from the universal relationship between objects and attributes, which is encoded linearly in representations according to the Linear Representation Hypothesis (LRH). We provide evidence that LRH helps explain PRH by extracting linear object-attribute features with sparse autoencoders and showing that these sparse representations often exhibit stronger cross-modal alignment than their dense counterparts. {2) Bias:} Models have different implicit biases due to the diverse architectures and training procedures used. We show that this difference can be partially mitigated. Centering and normalization consistently improve cross-model alignment. {3) Noise:} Finite-sample training leads to noise in representations. We provide evidence that representational noise is driven by data scarcity by revealing a strong and consistent positive correlation between word frequency and alignment in LLMs and text embedding models. Synthesizing signal, bias, and noise, we propose a statistical model that refines the Linear Representation Hypothesis and explains further phenomena related to the alignment of representations emerging from diverse modern AI architectures.
• Abstract（参考訳）: 信号, バイアス, ノイズという三部構成の統計的枠組みを用いて, プラトン表現仮説(PRH)について検討する。 {1)信号:} 対象と属性の普遍的関係からプラトンアライメントが生まれ、リニア表現仮説(LRH)に従って表現に線形に符号化されることを示す。 LRHは, 線形オブジェクト属性特徴をスパースオートエンコーダで抽出することによりPRHを説明するのに有効であることを示すとともに, これらのスパース表現は, 密接な表現よりも強いモーダルアライメントを示すことが多いことを示す。 {2) バイアス:} モデルにはさまざまなアーキテクチャやトレーニング手順があるため、暗黙のバイアスがある。 この差は部分的に緩和できることを示す。 中心化と正規化は、一貫してクロスモデルアライメントを改善します。 {3)ノイズ:} 有限サンプルトレーニングは表現のノイズにつながる。 我々は,LLMとテキスト埋め込みモデルにおける単語頻度とアライメントの強い正の相関を明らかにすることによって,表現ノイズがデータ不足によって引き起こされることを示す。 信号,バイアス,ノイズを合成し,線形表現仮説を洗練させる統計モデルを提案する。

関連論文リスト

• SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
  我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。 SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T07:26:54Z)
• Implicit Neural Representations: A Signal Processing Perspective [54.57279006229212]
  入射神経表現(INR)は、離散的なサンプルデータから連続的な機能的表現へと、信号モデリングの根本的な変化を示す。 本稿では、信号処理の観点からのINRの進化を考察し、スペクトル挙動、サンプリング理論、マルチスケール表現を強調する。 医療・レーダ画像の逆問題,圧縮,3次元シーン表現など,幅広い応用分野におけるINRの有用性を強調した。
  論文  参考訳（メタデータ） (2026-04-16T14:12:06Z)
• Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
  本稿では,2次幾何統計フレームワークを提案する。 提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-31T18:12:29Z)
• Training-Free Representation Guidance for Diffusion Models with a Representation Alignment Projector [14.027059904924135]
  本稿では,プロジェクタによって予測される表現を中間サンプリングステップに注入するアライメントアライメントプロジェクタを提案する。 SiTとREPAの実験は、クラス条件の画像ネット合成において顕著に改善されている。 提案手法は,SiTモデルに適用した場合の代表的なガイダンスより優れる。
  論文  参考訳（メタデータ） (2026-01-30T02:29:54Z)
• Generalization of Diffusion Models Arises with a Balanced Representation Space [32.68561555837436]
  我々は,表現学習のレンズを用いて,拡散モデルにおける記憶と一般化の区別を分析する。 暗記は,学習重みに生のトレーニングサンプルを格納し,符号化と復号を行い,局所的な「スピーキー」表現を生成するモデルに対応することを示す。 本稿では,表現ステアリングによる正確な制御を可能にする,暗記検出のための表現ベース手法と,トレーニング不要な編集手法を提案する。
  論文  参考訳（メタデータ） (2025-12-24T05:40:40Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Joint Estimation of Image Representations and their Lie Invariants [57.3768308075675]
  画像は世界の状態とコンテンツの両方をエンコードする。 この情報の自動抽出は、画像表現に固有の高次元かつ絡み合った符号化のために困難である。 本稿では,これらの課題の解決を目的とした2つの理論的アプローチを紹介する。
  論文  参考訳（メタデータ） (2020-12-05T00:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。