論文の概要: Convergence for Discrete Parameter Updates
- arxiv url: http://arxiv.org/abs/2512.04051v1
- Date: Wed, 03 Dec 2025 18:34:26 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-04 12:02:25.614513
- Title: Convergence for Discrete Parameter Updates
- Title（参考訳）: 離散パラメータ更新のための収束
- Authors: Paul Wilson, Fabio Zanasi, George Constantinides,
- Abstract要約: 量子化されたトレーニングは、低ビット整数でトレーニングコンポーネントを表現することでこの問題に対処するが、通常は実際の値更新を判断することに依存する。
我々は、更新ルール自体が離散的な別のアプローチを導入し、設計による継続的更新の定量化を避ける。
- 参考スコア（独自算出の注目度）: 0.5844274234531923
- License:
- Abstract: Modern deep learning models require immense computational resources, motivating research into low-precision training. Quantised training addresses this by representing training components in low-bit integers, but typically relies on discretising real-valued updates. We introduce an alternative approach where the update rule itself is discrete, avoiding the quantisation of continuous updates by design. We establish convergence guarantees for a general class of such discrete schemes, and present a multinomial update rule as a concrete example, supported by empirical evaluation. This perspective opens new avenues for efficient training, particularly for models with inherently discrete structure.
- Abstract（参考訳）: 現代のディープラーニングモデルは膨大な計算資源を必要とし、低精度トレーニングの研究を動機付けている。
量子化されたトレーニングは、低ビット整数でトレーニングコンポーネントを表現することでこの問題に対処するが、通常は実際の値更新を判断することに依存する。
我々は、更新ルール自体が離散的な別のアプローチを導入し、設計による継続的更新の定量化を避ける。
このような離散的なスキームの一般クラスに対する収束保証を確立し、経験的評価によって支持された具体例として多項更新規則を提案する。
この観点は、特に本質的に離散的な構造を持つモデルに対して、効率的なトレーニングのための新しい道を開く。
関連論文リスト
- BinConv: A Neural Architecture for Ordinal Encoding in Time-Series Forecasting [5.827431686047649]
確率予測のために設計された完全畳み込みニューラルネットワークアーキテクチャである textbfBinConv を提案する。
BinConvは、ポイントと確率予測の両方で広く使用されているベースラインデータセットと比較して、優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-05-30T13:41:39Z) - LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。
我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
論文 参考訳（メタデータ） (2025-02-15T10:18:46Z) - A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。
モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。
本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
論文 参考訳（メタデータ） (2024-08-26T17:59:01Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。
凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
論文 参考訳（メタデータ） (2023-03-28T13:47:16Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - Normality-Guided Distributional Reinforcement Learning for Continuous Control [13.818149654692863]
平均戻り値の予測モデル、すなわち値関数の学習は多くの強化学習アルゴリズムにおいて重要な役割を果たす。
本研究では,複数の連続制御タスクにおける値分布について検討し,学習した値分布が正常に近いことを実証的に確認した。
本稿では,標準値関数に存在しない値分布の構造的特性によって測定された正当性に基づくポリシー更新戦略を提案する。
論文 参考訳（メタデータ） (2022-08-28T02:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。