論文の概要: Rationally Linearized MLPs

• arxiv url: http://arxiv.org/abs/2610.13568v1
• Date: Fri, 09 Oct 2026 13:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.589751
• Title: Rationally Linearized MLPs
• Title（参考訳）: 線形化MLP
• Abstract要約: 線形化多層パーセプトロン(RaLiMP)について 有理近似は、かなり低い程度に正確な表現を提供できることを示す。 RaLiMPはこれらの近似を利用して狭いボトルネックを持つカーネル表現を構築し、レイヤ間の効率的な構成を可能にする。
• 参考スコア（独自算出の注目度）: 35.47034796583214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Rationally Linearized Multilayer Perceptrons(RaLiMPs), a new approach to efficiently linearizing MLPs using low-degree rational approximations of standard activation functions. Inspired by polynomial-based MLP linearization, we show that rational approximations can provide accurate representations at substantially lower degree. RaLiMPs exploit these approximations to construct kernel representations with narrow bottlenecks, enabling efficient composition across MLP layers. We provide theoretical guarantees for the resulting approximation and evaluate RaLiMPs across applications ranging from implicit 3D models to large language models. Our experiments demonstrate favorable accuracy--efficiency tradeoffs, with RaLiMPs achieving competitive or improved accuracy while substantially reducing inference cost.
• Abstract（参考訳）: Rationally Linearized Multilayer Perceptrons (RaLiMPs) を提案する。 多項式ベースの MLP 線形化に着想を得て、有理近似がかなり低い次数で正確な表現を提供できることを示す。 RaLiMPはこれらの近似を利用して狭いボトルネックを持つカーネル表現を構築し、MDP層間の効率的な合成を可能にする。 提案手法は,暗黙的な3次元モデルから大規模言語モデルに至るまで,アプリケーション間でのRaLiMPの近似を理論的に保証し,評価する。 提案実験は,RaLiMPsが競争力や精度の向上を実現し,推論コストを大幅に削減し,良好な精度・効率のトレードオフを示すものである。

関連論文リスト

• LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models [48.68246945083386]
  Likelihood-Free Policy Optimization (LFPO) は、ベクトル場フローの概念を離散トークン空間にマッピングするネイティブフレームワークである。 LFPOは幾何速度補正としてアライメントを定式化し、対照的な更新によって直接対流を最適化する。 実験によると、LFPOはコードと推論ベンチマークの最先端のベースラインを上回るだけでなく、拡散ステップの削減によって推論を約20%加速する。
  論文  参考訳（メタデータ） (2026-03-02T07:42:55Z)
• AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping [28.37735374308455]
  Aurora: (I) 完全な微調整性能を6.18%のパラメータで達成するだけでなく、(II) NLPとCVの両方のタスクにおいて、最先端PEFTメソッドを最大10.88%上回っている。
  論文  参考訳（メタデータ） (2025-05-24T15:16:27Z)
• Leveraging the true depth of LLMs [46.81174316936993]
  大規模言語モデル(LLM)は、高い計算要求を犠牲にして素晴らしい能力を示す。 近年の研究では、LCMの中間層を相当な精度の損失なく除去または再配列できることが示されている。 本稿では,連続層を並列に評価したペアにグループ化する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-05T00:26:27Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 3つの理論的な貢献により、現在の最先端の成果が向上する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Beyond Linear Approximations: A Novel Pruning Approach for Attention Matrix [17.086679273053853]
  大きな言語モデル(LLM)は、私たちの日常生活の様々な側面を強化する大きな可能性を示しています。 彼らの成長する能力は、非常に大きなモデルサイズを犠牲にし、エッジデバイスへのデプロイメントを困難にしている。 本稿では,注目行列の近似を直接最適化する LLM 重み付け手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T04:35:56Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Improved Implicit Neural Representation with Fourier Reparameterized Training [21.93903328906775]
  Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。 既存の手法では、INRの精度を向上させるため、位置符号化や周期的アクティベーション関数といった高度な手法が研究されている。
  論文  参考訳（メタデータ） (2024-01-15T00:40:41Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。