論文の概要: Task-Restricted Symmetries in Recurrent Weight Space

• arxiv url: http://arxiv.org/abs/2606.18457v1
• Date: Tue, 16 Jun 2026 20:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.884269
• Title: Task-Restricted Symmetries in Recurrent Weight Space
• Title（参考訳）: 繰り返し重み空間におけるタスク制限対称性
• Authors: Simon Dräger,
• Abstract要約: リカレントネットワークは、重量空間におけるかなりの機能的冗長性を含むことができる。 順序付き実シュア座標を用いた一層タンタンRNNにおけるこの冗長性について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent networks can contain substantial functional redundancy in weight space: changing a recurrent matrix may leave the input-output rollout nearly unchanged on a task distribution, while similar-scale changes can destroy the same behavior. We study this redundancy in one-layer tanh RNNs using ordered real Schur coordinates. The Schur form separates spectral blocks from directed nonnormal couplings, giving a diagnostic basis for structured ablations that keep the input and readout maps fixed. In a fixed-length copy task, selected nonnormal Schur couplings can be removed with little loss in some trained solutions, whereas other couplings are necessary for accurate autonomous replay. Across flip-flop, sine generation, and context-dependent integration, the loss-preserving ablation profile varies across tasks and trained solutions. These results identify candidate approximate functional invariances, not universal symmetries of recurrent weight space. Schur-coordinate ablations provide a practical diagnostic for which structured perturbations preserve a trained recurrent solution and which ones disrupt its computation.
• Abstract（参考訳）: リカレントネットワークは、重み空間におけるかなりの機能的冗長性を含むことができる: 再カレント行列を変更すると、入力出力のロールアウトはタスク分布にほとんど変化しないが、同様のスケールの変更は、同じ振舞いを破壊できる。 順序付き実シュア座標を用いた一層タンタンRNNにおけるこの冗長性について検討する。 シュア形式はスペクトルブロックと非正規結合を分離し、入力と読み出しの地図を固定し続ける構造化アブレーションの診断基盤を与える。 固定長コピータスクでは、選択された非正規シュアカップリングは、いくつかの訓練された解においてほとんど損失なく除去できるが、他のカップリングは正確な自律的な再生のために必要である。 フリップフロップ、正弦生成、コンテキスト依存の統合を通じて、損失保存アブレーションプロファイルはタスクやトレーニングされたソリューションによって異なる。 これらの結果は、再帰重み空間の普遍対称性ではなく、近似関数不変量(英語版)を同定する。 シュル・コーディネート・アブレーション(Schur-Coordinate ablations)は、構造的摂動が訓練された反復解を保持し、その計算を妨害する実用的な診断を提供する。

関連論文リスト

• Shift-Dependent Asymmetry: Orthogonal Inverse Low-Rank Adaptation for Federated Medical Segmentation [60.41721951405564]
  Low-Rank Adaptation (LoRA)は、医療画像のためのセグメンテーション基盤モデルの効率的なフェデレーション微調整を可能にする。 ほとんどの連合LoRA法は、医学的セグメンテーションにおいてエンコーダ-デコーダ非対称性の下で破れる一様アグリゲーション規則を採用している。 このミスマッチの絡み合いは、サイト固有のバイアスと解剖を共有し、一般化を損なう。 本稿では,効率的な更新空間における共有局所コリニアリティを罰する部分空間直交正規化器を提案する。
  論文  参考訳（メタデータ） (2026-06-07T15:39:28Z)
• Scale redundancy and soft gauge fixing in positively homogeneous neural networks [0.0]
  正に均質な活性化を持つニューラルネットワークは、正確な連続的な再パラメータ化対称性を示す。 不変方向とスケール不均衡方向を分離するゲージ適応座標を導入する。 電場理論におけるゲージ固定に着想を得て、冗長スケール座標のみに作用するソフト軌道選択関数を導入する。
  論文  参考訳（メタデータ） (2026-02-16T13:21:49Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data [36.287199718605]
  等価ニューラルネットワークは、基礎となるタスク対称性を利用して一般化を改善する。 本稿では,レイヤワイド制約変調機構であるRecurrent Equivariant ConstraintModulation (RECM)を提案する。 RECMは、トレーニング信号と各層の入力ターゲット分布の対称性からのみ適切な緩和レベルを学習する。
  論文  参考訳（メタデータ） (2026-02-02T21:59:35Z)
• ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
  本稿では,クラス非依存型異常検出(AD)の問題点について検討する。 目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。 8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
  論文  参考訳（メタデータ） (2025-09-28T08:41:05Z)
• Spatial regularisation for improved accuracy and interpretability in keypoint-based registration [5.286949071316761]
  教師なしキーポイント検出に基づく最近のアプローチは、解釈可能性に非常に有望である。 本稿では,特徴量の空間分布を正規化するための3倍の損失を提案する。 我々の損失は特徴の解釈可能性を大幅に改善し、現在では正確で解剖学的に意味のあるランドマークに対応しています。
  論文  参考訳（メタデータ） (2025-03-06T14:48:25Z)
• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• Overcoming Distribution Mismatch in Quantizing Image Super-Resolution Networks [53.23803932357899]
  量子化は画像超解像(SR)ネットワークの精度を低下させる。 既存の作業は、テスト時間中に量子化範囲を動的に適応することで、この分散ミスマッチ問題に対処する。 本稿では,SRネットワークにおける分散ミスマッチ問題を効果的に克服する量子化対応学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T08:50:01Z)
• Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks [57.64866581615309]
  完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。 その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
  論文  参考訳（メタデータ） (2020-06-19T15:45:03Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。