論文の概要: Interference Beyond Geometry in Concept Extraction
- arxiv url: http://arxiv.org/abs/2609.35351v1
- Date: Mon, 28 Sep 2026 15:02:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:14:47.296971
- Title: Interference Beyond Geometry in Concept Extraction
- Title(参考訳): 概念抽出における幾何学を超えた干渉
- Abstract要約: アーキテクチャ上の制約が4つのメカニズムを通してどのように干渉を形成するかを示す。
スパースオートエンコーダを用いた実験により、制約付きアーキテクチャはコアクティブ機能間の重複を選択的に低減することが示された。
- 参考スコア(独自算出の注目度): 5.350329706369602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interference is commonly treated as geometric overlap between learned features. We introduce effective interference, which combines feature geometry and code statistics to capture realized interactions, distinguishing constructive from destructive interference and frequent weak interactions from rare strong ones. Under local fixed-support assumptions, we characterize how architectural constraints shape interference through four mechanisms: feature orthogonalization, bias compensation, gain adaptation, and encoder-decoder separation. Experiments with sparse autoencoders show that constrained architectures selectively reduce overlap among co-active features, while bias, gain, and encoder freedom allow constructive cross-contributions to remain. Together, these results show that interference in learned representations depends not only on feature geometry, but also on how features are used and on the architecture that produces their codes.
- Abstract(参考訳): 干渉は一般に、学習した特徴間の幾何的な重なりとして扱われる。
特徴幾何と符号統計を組み合わせて実現された相互作用を捉え、破壊的な干渉と頻繁な弱い相互作用と稀な強い相互作用とを区別する効果的な干渉を導入する。
局所的な固定的仮定の下では、アーキテクチャ制約が機能の直交化、バイアス補償、ゲイン適応、エンコーダ・デコーダ分離の4つのメカニズムを通して干渉を形作るかを特徴付ける。
スパースオートエンコーダを用いた実験では、制約されたアーキテクチャはコアクティブな特徴間の重複を選択的に低減し、バイアス、ゲイン、エンコーダの自由は建設的なクロスコントリビューションを維持できることを示している。
これらの結果は、学習した表現の干渉は特徴幾何学だけでなく、機能がどのように使われているかや、コードを生成するアーキテクチャにも依存していることを示している。
関連論文リスト
- When Similarity Is Interaction-Driven: Quantum Kernels for Regime-Sensitive Learning [4.111963438093858]
詐欺や異常検出では、小さな局所摂動は相互作用に敏感な決定境界を横切ることができる。
パウリ弦特徴写像から構築したシンスラブ相互作用モデルと相互作用駆動量子カーネルを導入する。
得られた忠実度カーネルは正の半定値であり、正確なブロック分解されたカーネルを認め、相互作用状態の変化に敏感な幾何を誘導することを示す。
論文 参考訳(メタデータ) (2026-08-25T14:45:40Z) - Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads [5.703301837612397]
乗算二重エンコーダネットワークは、それぞれのエンコーダの内部積として、一対の入力に対して実数値出力を算出する。
統一理論は基本的な設計決定を導くものではない。
正規化はゲージ固定であり、ホワイトニングは置換と符号まで相互作用モードをピン留めすることを示す。
論文 参考訳(メタデータ) (2026-08-12T05:09:44Z) - The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints [4.192948150195333]
経験的に、異なる問題を個別に解決するのではなく、類似性を活用すれば、全体的なパフォーマンスが大幅に向上する。
また,各クラスにおける記述長の上限値と上限値について一様ノルムで検証した。
これは、構成多出力アーキテクチャの記述長効率に関する理論的洞察を与える。
論文 参考訳(メタデータ) (2026-06-14T21:25:58Z) - Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-25T09:57:46Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-04-18T10:50:46Z) - Structural Instability of Feature Composition [2.5754366051855837]
球状辞書モデルに基づく合成-崩壊しきい値について検討する。
高バイアス状態においては、ReLUは顕微鏡的相関による変動変動を系統的なドリフトに変換する。
CLEVRから抽出した構造化セマンティックな特徴に対するスケーリングの予測傾向を検証した。
論文 参考訳(メタデータ) (2026-04-18T05:53:31Z) - Differentiable SpaTiaL: Symbolic Learning and Reasoning with Geometric Temporal Logic for Manipulation Tasks [10.590774471054255]
乱雑な環境で複雑な操作を行うには、幾何学的および時間的制約を満たす必要がある。
多角形集合上でスムーズで自己階数互換な幾何的プリミティブを直接構成する、完全にテンソル化されたツールボックスである微分可能なSpaTiaLを提案する。
鍵空間述語を微分可能緩和することにより、高レベルな仕様から低レベルな幾何学的構成へのエンドツーエンドの異なる意味的マッピングを可能にする。
論文 参考訳(メタデータ) (2026-04-03T02:13:47Z) - Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
我々はデコーダ行列をほぼ直交的な特徴に分解する。
これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。
私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
論文 参考訳(メタデータ) (2026-02-04T16:29:14Z) - Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。
これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
論文 参考訳(メタデータ) (2025-04-30T05:26:51Z) - HierRelTriple: Guiding Indoor Layout Generation with Hierarchical Relationship Triplet Losses [52.70183252341687]
本稿では,空間的関係学習に着目した階層型三重項に基づく屋内関係学習手法HierRelTripleを提案する。
階層型リレーショナル三重項モデリングフレームワークであるHierRelTripleを導入する。
非条件レイアウト合成、フロアプラン条件付きレイアウト生成、シーン再構成の実験により、HierRelは空間関係のメトリクスを15%以上改善することを示した。
論文 参考訳(メタデータ) (2025-03-26T07:31:52Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。