論文の概要: Effective Does Not Mean Useful: Conditional Functional Substitutability for Redundancy and Scaling in Transformers

• arxiv url: http://arxiv.org/abs/2609.39259v1
• Date: Wed, 30 Sep 2026 08:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.433946
• Title: Effective Does Not Mean Useful: Conditional Functional Substitutability for Redundancy and Scaling in Transformers
• Title（参考訳）: 有効でない:変圧器の冗長性とスケーリングのための条件付き機能置換性
• Abstract要約: 機能置換を特徴付けるための条件付き機能置換性(CFS)を導入する。 CFSは、従来の重要度および類似度に基づく尺度で欠落した機能的関係と還元可能性を明らかにする。 制御されたスケーリングは、性能向上が置換性の成長を追跡する必要はないことを示す一方、より独立した機能構造を持つ固定容量モデルは、より良い性能を示す。
• 参考スコア（独自算出の注目度）: 11.104507938854534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural networks scale predictably, yet the mechanisms behind these regularities remain unclear. Neural redundancy is typically characterized by component importance or representational similarity, both indirect proxies. We view redundancy as an input-conditioned, dynamic relation: intermediate computational states are functionally redundant when they induce similar downstream responses. We introduce Conditional Functional Substitutability (CFS) to directly characterize such functional substitution. CFS exposes functional relations and reduction potential missed by conventional importance- and similarity-based measures. Across modalities and Transformer families, CFS reveals systematic functional reorganization with scale. Controlled scaling further shows that performance gains need not track growth in substitutability, while fixed-capacity models with more independent functional structure perform better, providing a functional account of diminishing returns. Predicted CFS further enables dynamic computation with a better performance--computation trade-off than importance-based component selection, suggesting new directions for redundancy-aware computation and more efficient model scaling.
• Abstract（参考訳）: 現代のニューラルネットワークのスケールは予測可能であるが、これらの規則性の背後にあるメカニズムはいまだ不明である。 神経の冗長性は、典型的には、間接的プロキシの両方において、コンポーネントの重要性または表現的類似性によって特徴づけられる。 我々は冗長性を入力条件付き動的関係とみなす: 中間計算状態は、類似の下流応答を誘導するときに機能的に冗長である。 このような機能置換を直接特徴付けるための条件付き機能置換性(CFS)を導入する。 CFSは、従来の重要度および類似度に基づく尺度で欠落した機能的関係と還元可能性を明らかにする。 モダリティとトランスフォーマーファミリー全体にわたって、CFSはスケールによる体系的な機能的再構成を明らかにしている。 さらに、制御されたスケーリングにより、性能向上は置換性の成長を追跡する必要がなく、一方、より独立な機能構造を持つ固定容量モデルはより良い性能を示し、リターンが減少する機能的説明を提供する。 予測されたCFSはさらに、重要度ベースのコンポーネント選択よりもパフォーマンス-計算トレードオフの優れた動的計算を可能にし、冗長性を考慮した計算の新しい方向とより効率的なモデルスケーリングを提案する。

関連論文リスト

• Partition-Based Functional Ridge Regression for High-Dimensional Data [0.45880283710344055]
  本稿では,分割型機能リッジ回帰フレームワークを提案する。 我々はFRE(Functional Ridge Estor)、FRFM(Functional Ridge Full Model)、FRSM(Functional Ridge Sub-Model)の3つの推定器を開発する。
  論文  参考訳（メタデータ） (2026-03-11T12:16:22Z)
• Switchable Activation Networks [25.854474675239842]
  SWAN(Switchable Activation Networks)は、各神経ユニットに決定論的、入力依存のバイナリゲートを装備するフレームワークである。 この動的制御機構は計算を適応的に割り当て、精度を維持しながら冗長性を低減させる。 SWANは、学習活性化制御の課題として効率性を再定義することにより、スパーシティ、プルーニング、適応推論の強みを統一する。
  論文  参考訳（メタデータ） (2026-02-17T08:14:10Z)
• Functional Random Forest with Adaptive Cost-Sensitive Splitting for Imbalanced Functional Data Classification [0.0]
  本稿では,不均衡な機能データ分類のための新しいアンサンブルフレームワークであるFRF-ACS(Adaptive Cost-Sensitive Splitting)を導入する。 不均衡に対処するため,各ノードのクラス重みを局所的に調整する動的コスト感度分割基準を組み込んだ。 合成および実世界のデータセットの実験により、FRF-ACSは少数クラスのリコールと全体的な予測性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-12-02T04:57:51Z)
• PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
  本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。 ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。 これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
  論文  参考訳（メタデータ） (2025-08-29T01:47:27Z)
• A Functional Extension of Semi-Structured Networks [2.482050942288848]
  半構造化ネットワーク(SSN)は、深いニューラルネットワークを持つ付加モデルに精通した構造をマージする。 大規模データセットにインスパイアされた本研究では,SSNを機能データに拡張する方法について検討する。 本稿では,古典的機能回帰手法の優位性を保ちつつ,スケーラビリティを向上する機能的SSN法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:50:18Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。