Fugu-MT 論文翻訳(概要): Residual-Guided Randomized Neural Networks

論文の概要: Residual-Guided Randomized Neural Networks

arxiv url: http://arxiv.org/abs/2608.28267v1
Date: Fri, 28 Aug 2026 12:30:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.316375
Title: Residual-Guided Randomized Neural Networks
Title（参考訳）: 残差誘導ランダム化ニューラルネットワーク
Abstract要約: ランダム化されたニューラルネットワークは、隠れた層パラメータへの入力をランダムに固定し、出力重みをクローズドな形式で学習することで、高速で分析可能なトレーニングを可能にする。本稿では, 隠蔽層を閉鎖型残留劣化基準を用いてグリード的に構築する, 簡易かつ広範に適用可能な残留ガイド法を提案する。提案した残差誘導モデルが,精度,安定性,総合ランク付け性能において,ベースラインモデルよりも一貫して優れていることを示す。
参考スコア（独自算出の注目度）: 7.698602367824994
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Randomized neural networks enable fast and analytically tractable training by fixing the input to hidden layer parameters at random and learning the output weights in closed form; however, their performance critically depends on a single uninformed draw of hidden units. This one shot and task uninformed feature construction often leads to redundant representations and suboptimal utilization of model capacity. To address this limitation, we propose a simple and broadly applicable residual guided procedure that greedily constructs the hidden layer using a closed form residual decrease criterion. At each stage, we (i) generate a pool of random candidate units, (ii) score each candidate by the exact reduction it induces in the ridge regularized objective, (iii) select the top k units, and (iv) refit the readout in closed form using the standard design with direct input links. This procedure yields a progressive training process with a guaranteed monotonic decrease of the training objective. The method is model agnostic: only the candidate generation is architecture specific, while the scoring selection refitting loop is shared across models. Extensive experiments on 71 benchmark datasets from the UCI repository, covering both binary and multiclass classification tasks, demonstrate that the proposed residual-guided models consistently outperform their baseline counterparts in terms of accuracy, stability, and overall ranking performance.
Abstract（参考訳）: ランダム化されたニューラルネットワークは、隠れた層パラメータへの入力をランダムに固定し、出力の重みを閉じた形で学習することで、高速で分析可能なトレーニングを可能にする。このショットとタスクなしの機能構成は、しばしば冗長な表現とモデルキャパシティの最適以下の利用につながる。この制限に対処するため,閉鎖形残留低減基準を用いて隠蔽層を強固に構築する簡易かつ広範に適用可能な残留ガイド手法を提案する。それぞれの段階で i) ランダムな候補ユニットのプールを生成する。 (二)尾根正規化目標において、各候補を正確に減じて得点すること。 (三)トップkを選定し、 (4) 直接入力リンクによる標準設計を用いて、読み出しをクローズドな形式に書き換える。この手順は、トレーニング対象の単調な減少が保証されたプログレッシブトレーニングプロセスをもたらす。候補生成のみがアーキテクチャ固有であり、スコアリング選択適合ループはモデル間で共有される。 UCIレポジトリの71のベンチマークデータセットに対する大規模な実験は、バイナリとマルチクラスの両方の分類タスクをカバーし、提案された残留誘導モデルは、精度、安定性、全体的なランキングパフォーマンスにおいて、ベースラインモデルよりも一貫して優れていることを示した。

関連論文リスト

Model Merging by Output-Space Projection [6.752805486904705]
モデルマージは、微調整されたチェックポイントを再トレーニングせずに単一のマルチタスクモデルに結合する。残余更新よりも凸プログラムとしてマージを定式化できることが示される。逐次的なレイヤワイドアルゴリズムにより,マルチレイヤマージに拡張し,言語およびビジョンベンチマーク間で一貫した利得を示す。
論文参考訳（メタデータ） (2026-05-27T21:01:29Z)
Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文参考訳（メタデータ） (2026-04-11T10:47:22Z)
What Does It Take to Build a Performant Selective Classifier? [30.90225954725644]
ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
論文参考訳（メタデータ） (2025-10-23T05:48:40Z)
LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
論文参考訳（メタデータ） (2025-10-16T17:55:11Z)
Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文参考訳（メタデータ） (2025-09-22T15:13:14Z)
Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning [4.97235247328373]
本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
論文参考訳（メタデータ） (2022-08-02T16:19:54Z)
Lifelong Learning Without a Task Oracle [13.331659934508764]
監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
論文参考訳（メタデータ） (2020-11-09T21:30:31Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。