論文の概要: Cross-Model Semantics in Representation Learning
- arxiv url: http://arxiv.org/abs/2508.03649v1
- Date: Tue, 05 Aug 2025 16:57:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:56.090628
- Title: Cross-Model Semantics in Representation Learning
- Title（参考訳）: 表現学習におけるクロスモデル意味論
- Authors: Saleh Nikooroo, Thomas Engel,
- Abstract要約: 構造的正則性は、構造的変動の下でより安定な表現幾何学を誘導することを示す。
これは、ある種の帰納バイアスがモデル内の一般化をサポートするだけでなく、モデル間の学習された機能の相互運用性を向上させることを示唆している。
- 参考スコア（独自算出の注目度）: 1.2064681974642195
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The internal representations learned by deep networks are often sensitive to architecture-specific choices, raising questions about the stability, alignment, and transferability of learned structure across models. In this paper, we investigate how structural constraints--such as linear shaping operators and corrective paths--affect the compatibility of internal representations across different architectures. Building on the insights from prior studies on structured transformations and convergence, we develop a framework for measuring and analyzing representational alignment across networks with distinct but related architectural priors. Through a combination of theoretical insights, empirical probes, and controlled transfer experiments, we demonstrate that structural regularities induce representational geometry that is more stable under architectural variation. This suggests that certain forms of inductive bias not only support generalization within a model, but also improve the interoperability of learned features across models. We conclude with a discussion on the implications of representational transferability for model distillation, modular learning, and the principled design of robust learning systems.
- Abstract（参考訳）: ディープネットワークによって学習される内部表現は、しばしばアーキテクチャ固有の選択に敏感であり、モデル間の学習された構造の安定性、アライメント、伝達可能性に関する疑問を提起する。
本稿では,線形整形演算子や補正経路などの構造的制約が,異なるアーキテクチャ間の内部表現の整合性に与える影響について検討する。
構造化された変換と収束に関する先行研究から得られた知見に基づいて、異なるが関連するアーキテクチャの先行するネットワーク間の表現的アライメントを計測・解析する枠組みを開発する。
理論的洞察、経験的プローブ、制御された伝達実験の組み合わせにより、構造的正則性は、構造的変動の下でより安定な表現幾何学を誘導することを示した。
これは、ある種の帰納バイアスがモデル内の一般化をサポートするだけでなく、モデル間の学習された機能の相互運用性を向上させることを示唆している。
本稿では, モデル蒸留, モジュール学習, およびロバスト学習システムの原理設計における表現伝達可能性の影響について論じる。
関連論文リスト
- Understanding Learning Dynamics Through Structured Representations [1.2064681974642195]
本稿では,内部構造的選択が学習システムの振舞いをいかに形作るかを検討する。
これらの構造が勾配流、スペクトル感度、固定点挙動にどのように影響するかを分析する。
固定テンプレートを規定するのではなく、解釈可能な方法で学習行動を操ることのできるトラクタブルデザインの原則を強調します。
論文 参考訳（メタデータ） (2025-08-04T07:15:57Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳（メタデータ） (2025-06-05T05:42:27Z) - Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation [3.8073142980733]
この論文では、空間間の写像における体系的構造を特定するための定量的手法を紹介している。
マッピングに存在する構造的プリミティブと、それぞれの情報理論を識別します。
また、ベクトル空間のエントロピーを推定する新しい高性能なアプローチを導入し、この分析を100万から1200億のパラメータのモデルに適用する。
論文 参考訳（メタデータ） (2025-05-29T19:27:50Z) - Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning [0.0]
指向性非可換モノイド作用素上に構築された合成埋め込みのための新しい構造を導入する。
我々の構成では、各軸 i に対して異なる合成演算子 circ_i を定義し、大域的な可換性を与えることなく、各軸に沿って連想結合を保証する。
すべての軸特異作用素は互いに可換であり、一貫した交叉軸合成を可能にする大域的交換法則を強制する。
論文 参考訳（メタデータ） (2025-05-21T13:27:14Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - A Survey of Model Architectures in Information Retrieval [64.75808744228067]
機能抽出のためのバックボーンモデルと、関連性推定のためのエンドツーエンドシステムアーキテクチャの2つの重要な側面に焦点を当てる。
従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。
我々は、パフォーマンスとスケーラビリティのアーキテクチャ最適化、マルチモーダル、マルチランガルデータの処理、従来の検索パラダイムを超えた新しいアプリケーションドメインへの適応など、新たな課題と今後の方向性について議論することで結論付けた。
論文 参考訳（メタデータ） (2025-02-20T18:42:58Z) - Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
解釈可能な登録フレームワークを設計するための理論的基盤を提示する。
粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。
我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
論文 参考訳（メタデータ） (2024-12-17T19:47:10Z) - Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。
本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
論文 参考訳（メタデータ） (2024-10-03T20:51:02Z) - Compositional Structures in Neural Embedding and Interaction Decompositions [101.40245125955306]
ニューラルネットワークにおけるベクトル埋め込みにおける線形代数構造間の基本的な対応について述べる。
相互作用分解」の観点から構成構造の特徴づけを導入する。
モデルの表現の中にそのような構造が存在するためには、必要かつ十分な条件を確立する。
論文 参考訳（メタデータ） (2024-07-12T02:39:50Z) - The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。
本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。
我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Adaptive Interaction Modeling via Graph Operations Search [109.45125932109454]
相互作用モデリングのための適応型構造を学習するために,構造設計のプロセスを自動化する。
アーキテクチャ探索フレームワークが適応的な相互作用モデリング構造を構築することを実験的に実証した。
本手法は最先端技術との競合性能を実現する。
論文 参考訳（メタデータ） (2020-05-05T13:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。