論文の概要: The Condition Number as a Scale-Invariant Proxy for Information Encoding in Neural Units

• arxiv url: http://arxiv.org/abs/2506.16289v1
• Date: Thu, 19 Jun 2025 13:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.079811
• Title: The Condition Number as a Scale-Invariant Proxy for Information Encoding in Neural Units
• Title（参考訳）: ニューラルネットワークにおける情報符号化のためのスケール不変プロキシとしての条件数
• Authors: Oswaldo Ludwig,
• Abstract要約: 実効的な知識符号化には不十分な高条件数は、そのユニットが情報を選択的に増幅し圧縮することを学習したことを示唆する可能性がある。 本稿では,これらの原則を多モーダル大規模言語モデルの選択的微調整に応用する実践事例について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the relationship between the condition number of a neural network's weight tensor and the extent of information encoded by the associated processing unit, viewed through the lens of information theory. We argue that a high condition number, though not sufficient for effective knowledge encoding, may indicate that the unit has learned to selectively amplify and compress information. We formalize this intuition, particularly for linear units with Gaussian inputs, linking the condition number and the transformation's log-volume scaling factor to the characteristics of the output entropy and the geometric properties of the learned transformation. Our analysis demonstrates that for a fixed weight norm, a concentrated distribution of singular values (high condition number) corresponds to reduced overall information transfer, indicating a specialized and efficient encoding strategy. Furthermore, we present a practical case study where these principles are applied to guide selective fine-tuning of a multimodal Large Language Model, aiming to mitigate catastrophic forgetting during cross-modal adaptation. Unlike many existing catastrophic forgetting mitigation methods that rely on access to pre-training statistics, which are often unavailable, our selective fine-tuning approach offers a way to bypass this common requirement.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの重みテンソルの状態数と関連する処理ユニットによって符号化される情報量との関係を,情報理論のレンズを通して検討する。 実効的な知識符号化には不十分な高条件数は、そのユニットが情報を選択的に増幅し圧縮することを学習したことを示唆する可能性がある。 この直観を、特にガウス入力を持つ線型単位に対して形式化し、条件数と変換の対数スケール係数を出力エントロピーの特性と学習された変換の幾何学的性質に結びつける。 本分析は, 固定重みノルムに対して, 特異値(高条件数)の集中分布は, 情報伝達の低減に対応し, 特殊かつ効率的な符号化戦略を示すことを示す。 さらに,これらの原則を多モーダル大規模言語モデルの選択的微調整に応用し,多モーダル適応時の破滅的な忘れを緩和する実践事例を提案する。 事前学習統計へのアクセスに依存する多くの既存の破滅的な回避方法とは異なり、我々の選択的な微調整アプローチは、この共通の要件を回避できる手段を提供する。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Gacs-Korner Common Information Variational Autoencoder [102.89011295243334]
  本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を提案する。 画像やビデオなどの高次元データでも意味論的に意味のある共通要素や特徴要因を学習できることを実証する。
  論文  参考訳（メタデータ） (2022-05-24T17:47:26Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• On the Relevance-Complexity Region of Scalable Information Bottleneck [15.314757778110955]
  本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
  論文  参考訳（メタデータ） (2020-11-02T22:25:28Z)
• Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN) [30.74691299906988]
  表現学習の中心的な問題は、任意の複雑な生成過程の真の潜伏変数をどの条件で再構築できるかを問うものである。 Khehemらによる非線形ICAに関する最近の画期的な研究は、この疑問に幅広い条件生成過程のクラスで答えている。 我々は、この重要な結果を現実世界のデータへの応用に関係した方向に拡張する。
  論文  参考訳（メタデータ） (2020-01-14T16:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。