論文の概要: The Ups and Downs of Backprop Weights

• arxiv url: http://arxiv.org/abs/2609.22554v1
• Date: Fri, 18 Sep 2026 20:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.448038
• Title: The Ups and Downs of Backprop Weights
• Title（参考訳）: バックプロップ重量の上昇と低下
• Abstract要約: バックプロパゲーション(BP)は、ネットワークが複雑な関数をエンドツーエンドで学習できるようにすることによって、現代のディープラーニングの顕著な成功を導いた。 BPは、機能コンポーネントを選択的に再利用し、適応できるように、どのようにパラメータを編成するかをそれ自体は決定していない。 本稿では,再利用可能な機能コンポーネントを実装した重み演算子を提案する。
• 参考スコア（独自算出の注目度）: 3.1549361383968524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP) has driven the remarkable success of modern deep learning by enabling large hierarchical networks to learn complex functions end-to-end. Yet it does not by itself determine how parameters should be organized so that functional components can be reused and adapted selectively. For example, object recognition and motion prediction may depend on overlapping parameter sets, making them difficult to isolate or modify independently. We call this condition weight entanglement. Modern architectures dynamically select which parts of a network process each sample: nonlinearities gate units, attention selects interactions, and Mixture-of-Experts architectures route inputs to modules. Yet such selection does not ensure that the same functional component remains linked to an identifiable parameter set across samples. We propose weight operators: parameterized modules that implement reusable functional components and can be composed at inference to form the function required by each sample. Learning proceeds in two stages: the model first infers the required operator composition, then updates only the selected operators' parameter sets. Vector Networks (VNs) provide one implementation. They couple operator selection to local error-driven updates within each layer and show that learned operators can be reused in combinations absent from training while updates remain restricted to the selected parameter sets. This provides a basis for testing functional parameter identifiability: whether an operator remains linked to the same functional component during learning. We argue that functional parameter identifiability may provide an organizing principle for models that systematically reuse and recombine learned functions while adapting only the components that need to change.
• Abstract（参考訳）: バックプロパゲーション(BP)は、大規模階層ネットワークが複雑な関数をエンドツーエンドで学習できるようにすることによって、現代のディープラーニングの顕著な成功を導いた。 しかし、機能コンポーネントを選択的に再利用し、適応できるように、パラメータをどのように整理するかは、それ自体は決定しません。 例えば、オブジェクト認識とモーション予測は重なり合うパラメータセットに依存する可能性があるため、独立して分離や修正が困難になる。 私たちはこの条件を重みの絡み目と呼ぶ。 現代のアーキテクチャは、各サンプルのネットワークプロセスのどの部分を動的に選択する:非線形ゲートユニット、アテンションは相互作用を選択し、Mixture-of-Expertsアーキテクチャはモジュールへの入力をルーティングする。 しかし、そのような選択は、同じ機能コンポーネントが、サンプル間で設定された識別可能なパラメータにリンクされていることを保証しません。 本稿では、再利用可能な機能コンポーネントを実装し、各サンプルが必要とする関数を形成するために推論時に構成できるパラメータ化モジュールを提案する。 学習は2段階で進行する: モデルはまず必要な演算子の構成を推論し、選択した演算子のパラメータセットのみを更新する。 Vector Networks (VN) は一つの実装を提供する。 彼らは演算子選択を各レイヤ内のローカルエラー駆動更新に結合し、学習した演算子をトレーニングなしで組み合わせて再利用できることを示し、更新は選択したパラメータセットに制限される。 これは、関数パラメータの識別可能性をテストするための基礎を提供する: オペレータが学習中に同じ関数コンポーネントにリンクされているかどうか。 機能パラメータの識別性は、学習した関数を体系的に再利用し、再結合するモデルに対して、変更が必要なコンポーネントのみを適応させながら、組織的原理を提供するかもしれない、と我々は主張する。

関連論文リスト

• HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing [0.0]
  メモリファースト適応フレームワークHY-WU(Weight Unleashing)を提案する。 適応圧力を1つの共有パラメータポイントの上書きから逸脱させる。 HY-WUは神経モジュールとして機能的(操作レベル)メモリを実装している。
  論文  参考訳（メタデータ） (2026-03-07T14:40:05Z)
• Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing [41.836954056293614]
  AdaRouteは、シンプルなMix-of-experts(MoE)アーキテクチャを備えた新しいアダプタスタイルのメソッドである。 AdaRouteモジュールの動的重み行列は入力依存の方法で低ランク適応を促進する。 様々な視覚タスクにおけるAdaRouteの優位性を示す実験。
  論文  参考訳（メタデータ） (2026-02-06T16:50:38Z)
• Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models [5.019928514737434]
  本稿では,構造学習機構を基盤としたアダプタを用いたファインチューニング手法を提案する。 これにより、モデルがマルチタスク設定で柔軟に構造を調整し、異なるタスク特性に適合させることができる。 精度、圧縮速度、ノイズや摂動に対する頑健さのバランスが良くなる。
  論文  参考訳（メタデータ） (2025-09-03T06:40:25Z)
• Optimize Incompatible Parameters through Compatibility-aware Knowledge Integration [104.52015641099828]
  既存の研究は、そのようなパラメータを除去したり、複数の異なる事前訓練されたモデルの出力をマージすることに長けている。 本稿では,Deep AssessmentとDeep SplicingからなるCompatibility-Aware Knowledge Integration (CKI)を提案する。 統合モデルは推論やさらなる微調整に直接使用することができる。
  論文  参考訳（メタデータ） (2025-01-10T01:42:43Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
  検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。 最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。 本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-05-04T20:19:39Z)
• Partial Network Cloning [58.83278629019384]
  PNCはソースネットワークから部分パラメトリックの「クローズニング」を実行し、クローン化されたモジュールをターゲットに注入する。 本手法はパラメータ調整法と比較して精度が5%向上し,局所性が50%向上した。
  論文  参考訳（メタデータ） (2023-03-19T08:20:31Z)
• Learning Features with Parameter-Free Layers [22.92568642331809]
  本稿では、ネットワークアーキテクチャにおける効率的なトレーニング可能なレイヤの代替として、単純なパラメータフリーな操作が好ましいと論じる。 ImageNetデータセットの実験では、パラメータフリーな操作を持つネットワークアーキテクチャは、モデル速度、パラメータ数、FLOPのさらなる効率性の利点を享受できることが示されている。
  論文  参考訳（メタデータ） (2022-02-06T14:03:36Z)
• Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks [13.308477955656592]
  本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。 本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。 本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
  論文  参考訳（メタデータ） (2021-07-23T00:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。