論文の概要: Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning
- arxiv url: http://arxiv.org/abs/2607.01762v1
- Date: Thu, 02 Jul 2026 06:24:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.698053
- Title: Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning
- Title（参考訳）: 非対称表現学習のための役割認識型ニューラル凸分散ヘッド
- Abstract要約: 多くの表現学習問題には、表現学習問題が含まれる。
提案手法は,方向関係が重要となるタスクに対して,構造的かつ非構造的距離モジュールとして最もよく理解されている。
全体として、提案する頭部は、方向関係が重要となるタスクのための構造的かつ非構造的距離モジュールとして最もよく理解されている。
- 参考スコア（独自算出の注目度）: 7.989284529490038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many representation learning problems involve directed relations, such as lexical entailment, sentence entailment, ontology hierarchy, and citation links. Standard Euclidean, cosine, and Mahalanobis heads are symmetric, while generic neural scorers can model directionality but provide limited geometric structure. This paper proposes a role-aware neural convex divergence head for asymmetric representation learning. The head applies source- and target-role projections before evaluating an input-convex neural Bregman divergence, yielding a nonnegative structured score in the role-projected space. We characterize its projected-space identity, source-role convexity, directional-gap decomposition, and Hessian-based local curvature. Experiments on lexical, sentence, ontology, and directed graph benchmarks compare symmetric distances, unstructured asymmetric scorers, order/hyperbolic baselines, plain ICNN-Bregman heads, and the proposed role-aware variant. Across ten random seeds on the main semantic and ontology benchmarks, role-aware projections consistently improve directional accuracy over plain ICNN-Bregman heads while preserving zero observed negative divergence rate. The results also identify a boundary case: on large fixed-feature citation prediction, specialized symmetric or hyperbolic baselines remain stronger in ranking accuracy. Overall, the proposed head is best understood as a structured and interpretable plug-in distance module for tasks where directional relations matter.
- Abstract（参考訳）: 多くの表現学習問題には、語彙の含意、文の含意、オントロジー階層、引用リンクなどの有向関係が含まれる。
標準ユークリッド、コサイン、マハラノビスの頭部は対称であり、ジェネリック・ニューラル・スコアラーは方向をモデル化できるが、幾何学的構造は限られている。
本稿では,非対称表現学習のための役割認識型ニューラル凸分散ヘッドを提案する。
ヘッドは入力凸ニューラルブレグマンの発散を評価する前にソース・ロール・プロジェクションとターゲット・ロール・プロジェクションを適用し、ロール・プロジェクションされた空間において非負の構造化スコアを得る。
我々は,その射影空間の同一性,ソースロールの凸性,方向ギャップ分解,ヘッセン系局所曲率を特徴付ける。
語彙、文、オントロジー、有向グラフベンチマークの実験では、対称距離、非構造的非対称スコア、順序/双曲的ベースライン、単純なICNN-Bregmanヘッド、そして提案された役割認識型を比較した。
主セマンティクスとオントロジーのベンチマークで10個のランダムな種が示され、ロールアウェア・プロジェクションは、観測された負の発散率をゼロに保ちながら、通常のICNN-ブレグマンヘッドの方向精度を一貫して向上する。
この結果は、大きな固定状態の引用予測において、特殊対称または双曲基底線は、ランク精度において強いままである、という境界ケースも特定する。
全体として、提案するヘッドは、方向関係が重要となるタスクに対して、構造化および解釈可能なプラグイン距離モジュールとして理解されている。
関連論文リスト
- Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
相関行列は機能的脳ネットワークの基本要約である。
既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。
オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
論文 参考訳（メタデータ） (2026-05-21T11:22:31Z) - The Geometry of Projection Heads: Conditioning, Invariance, and Collapse [0.0]
自己教師型学習における投影頭部の幾何学的理論を開発する。
線形ヘッドが暗黙的な部分空間白化を行うのに対し、非線形ヘッドは局所的なメトリクスを適応させ、損失の特定の位相的制約を満たすことを示す。
論文 参考訳（メタデータ） (2026-05-16T22:32:05Z) - Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
画像復元は本質的に逆問題である。
非厳密対称性を制約として、復元逆問題を定式化する。
最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
論文 参考訳（メタデータ） (2026-05-13T16:22:19Z) - Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks [0.0]
我々は,単純な浅層ネットワークを解析するための微分幾何学的フレームワークを開発した。
まず、正規浅層ネットワークパラメータの対称性と商構造を特徴付ける。
次に,パラメータ移動の水平成分のみが1次予測器の進化に寄与することを示す。
論文 参考訳（メタデータ） (2026-03-23T02:50:30Z) - Implicit bias as a Gauge correction: Theory and Inverse Design [2.9379512315137117]
機械学習理論の中心的な問題は、学習力学が学習目標と互換性のある特定のソリューションをどのように選択するかを特徴づけることである。
我々は、暗黙のバイアスの出現に対する学習力学の明示的な修正という観点から、一般的なメカニズムを同定する。
我々は、様々な力学の帰納バイアスを計算し、いくつかのよく知られた結果が単一の統一されたフレームワークにどのように適合するかを示した。
論文 参考訳（メタデータ） (2026-01-10T15:33:09Z) - VIKING: Deep variational inference with stochastic projections [48.946143517489496]
変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。
パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。
これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
論文 参考訳（メタデータ） (2025-10-27T15:38:35Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。
これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文 参考訳（メタデータ） (2023-11-08T15:17:13Z) - Generative Adversarial Symmetry Discovery [19.098785309131458]
リーGANは対称性を解釈可能なリー代数基底として表現し、様々な対称性を発見できる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用することができる。
論文 参考訳（メタデータ） (2023-02-01T04:28:36Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。