論文の概要: Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads
- arxiv url: http://arxiv.org/abs/2608.11661v1
- Date: Wed, 12 Aug 2026 05:09:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.471873
- Title: Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads
- Title（参考訳）: 低対話型学習:多目的デュアルエンコーダヘッドの統合
- Abstract要約: 乗算二重エンコーダネットワークは、それぞれのエンコーダの内部積として、一対の入力に対して実数値出力を算出する。
統一理論は基本的な設計決定を導くものではない。
正規化はゲージ固定であり、ホワイトニングは置換と符号まで相互作用モードをピン留めすることを示す。
- 参考スコア（独自算出の注目度）: 5.703301837612397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A multiplicative dual-encoder network computes a real-valued output for a pair of inputs as the inner product of their separate encodings. This architecture has been developed independently in operator learning, bipartite matching, contrastive vision-language models, retrieval, and other areas, yet no unified theory guides the basic design decisions: how many interaction modes to represent, how to normalize the encoders, and when the architecture should be avoided. We provide such a foundation by introducing the class of functions of low interaction rank, a class whose intrinsic complexity is measured by its interaction spectrum. Within this framework, approximation error decomposes into a spectral truncation term and an encoder-realization term; sample complexity is governed by the sum of the two encoder complexities rather than their product; and a usability criterion based on spectral decay determines when the architecture can succeed. The same framework exposes a central identifiability problem: the encoders are defined only up to a linear gauge symmetry that leaves the learned coordinates arbitrary. We show that normalization is gauge fixing and that whitening pins the interaction modes up to permutation and sign, thereby explaining the uninterpretability of contrastive dimensions and providing a constructive remedy. Experiments on synthetic kernels, operator learning, and CLIP models validate the theoretical predictions: spectral decay rates match the predicted scaling, whitening recovers the true modes, and independently trained CLIP models are related by a single rotation which, after removal by whitening, exposes interpretable concept axes. The code of this paper is provided at https://github.com/RS2002/Mul-Net .
- Abstract（参考訳）: 乗算二重エンコーダネットワークは、それぞれのエンコーダの内部積として、一対の入力に対して実数値出力を算出する。
このアーキテクチャは、演算子学習、双部マッチング、対照的な視覚言語モデル、検索、その他の分野で独立して開発されたが、統一された理論は基本的な設計決定を導くものではない。
我々は、その相互作用スペクトルによって内在的な複雑性が測定されるクラスである、低相互作用ランクの関数のクラスを導入することにより、そのような基礎を提供する。
このフレームワーク内では、近似誤差はスペクトルトランケーション項とエンコーダ実現項に分解され、サンプル複雑性は製品ではなく2つのエンコーダ複合体の和によって支配され、スペクトル減衰に基づくユーザビリティ基準はアーキテクチャがいつ成功するかを決定する。
エンコーダは、学習した座標を任意に残す線形ゲージ対称性にのみ定義される。
正規化はゲージ固定であり、ホワイトニングは相互作用モードを置換と符号までピン留めし、対照的な次元の不解釈性を説明し、建設的救済を与えることを示す。
スペクトル減衰速度は予測スケーリングと一致し、ホワイトニングは真のモードを回復し、独立に訓練されたCLIPモデルは単一の回転によって関連付けられ、ホワイトニングによって除去された後、解釈可能な概念軸が露出する。
本論文のコードはhttps://github.com/RS2002/Mul-Netで公開されている。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Reconstruction of detector error model for quantum error correction [6.505803823301456]
本稿では,実験症候群統計を直接離散的物理ハイパーグラフに変換するための一貫した枠組みを提案する。
本研究では, 高次から低次まで, 絶対的な統計的分散が線形に蓄積されるような, 密度コードにおける正確な連続パラメータ抽出が, テキスト分散カスケードによって制限されていることを示す。
これは、現実的な量子ハードウェアにおいて、非常に相関性の高いノイズを特徴付け、デコードするための実践的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-06-15T06:51:48Z) - Selective Synergistic Learning for Video Object-Centric Learning [43.27149574230564]
スロットベースオブジェクト中心学習のための選択型シナジスティック学習(SSync)を提案する。
SSyncは、最も信頼性の高いキューのみによるエラー伝搬によるパッチトパッチアライメントを防止する。
また、SSyncは分解品質を改善し、汎用的なプラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2026-06-14T00:51:33Z) - Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。
我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
論文 参考訳（メタデータ） (2026-06-12T07:10:17Z) - Encoding Numerical Data for Generative Quantum Machine Learning [0.820994582033002]
実世界のデータは、しばしば数値であり、モデルがバイナリと連続表現を変換する必要がある。
我々は、データそのものとは無関係に、データのエンコード方法のアーチファクトである相関を学習するためにモデルが必要であることを示した。
本稿では,基本的にオーバーヘッドを伴わずに実装可能なグレイコードに基づく戦略を提案し,データ構造を保存し,標準アプローチが生成する状況において,人工的相関を回避する。
論文 参考訳（メタデータ） (2026-03-24T16:39:58Z) - CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。
複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。
Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
論文 参考訳（メタデータ） (2026-02-06T03:49:15Z) - TRACE: Learning to Compute on Graphs [15.34239150750753]
アーキテクチャ的に健全なバックボーンと原則学習目標に基づいて構築された新しいパラダイムである textbfTRACE を紹介する。
まず、TRACEは階層変換器を使用し、計算のステップバイステップフローを反映する。
第2に、学習問題を分離する新しい目的であるtextbffunction shift learningを導入する。
論文 参考訳（メタデータ） (2025-09-26T05:22:32Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - X-volution: On the unification of convolution and self-attention [52.80459687846842]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。
提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
論文 参考訳（メタデータ） (2021-06-04T04:32:02Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。