論文の概要: State Tuning: State-based Test-Time Scaling on RWKV-7

• arxiv url: http://arxiv.org/abs/2504.05097v1
• Date: Mon, 07 Apr 2025 14:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:14:44.954494
• Title: State Tuning: State-based Test-Time Scaling on RWKV-7
• Title（参考訳）: State Tuning: RWKV-7のステートベースのテストタイムスケーリング
• Authors: Liu Xiao, Li Zhiyuan, Lin Yueyu,
• Abstract要約: 我々は、RNNベースのRWKV-7モデルに合わせた状態チューニングという、テスト時間スケーリングに対する新しい状態ベースアプローチを導入する。 RWKV-7の独特な強みを生かして,モデルの事前学習重みを変更することなく,目標課題に対する最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 0.747193191854175
• License:
• Abstract: Test-time scaling has emerged as a prominent research direction in machine learning, enabling models to enhance their expressive capabilities during inference.Transformers, renowned for striking a delicate balance between efficiency and expressiveness, have benefited from test-time scaling techniques that leverage an expanding key-value (KV) cache to significantly improve performance.In this paper, we introduce a novel state-based approach to test-time scaling, which we term state tuning, tailored to the RNN-based RWKV-7 model.By exploiting the unique strengths of RWKV-7, our method achieves state-of-the-art performance on the target task without altering the model's pre-trained weights. Our approach centers on three key innovations. First, we develop an observer framework that allows a smaller model to replicate and learn the state dynamics of the RWKV-7 model. Second, we employ a kernel method to dynamically upscale the state size, enhancing the model's capacity to capture intricate patterns. Third, we integrate Decorrelated Backpropagation (DBP) to optimize the upscaled state matrix, thereby improving convergence and expressivity. By tuning only the state matrix, we demonstrate that a smaller model can outperform larger models on the given task. This method preserves the efficiency of the original RWKV-7 architecture while harnessing the power of test-time scaling to deliver superior results. Our findings underscore the potential of state tuning as an effective strategy for advancing model performance in resource-constrained settings. Our code is https://github.com/TorchRWKV/flash-linear-attention.
• Abstract（参考訳）: 本稿では,RNNベースのRWKV-7モデルに合わせた,テスト時間スケーリングのための新しいステートベースアプローチを提案する。RWKV-7の独特な強みを生かして,本手法は,モデルの事前学習重みを変更することなく,目標タスクの最先端性能を実現する。 私たちのアプローチは3つの重要なイノベーションに重点を置いています。 まず、より小さなモデルでRWKV-7モデルの状態ダイナミクスを再現し、学習できるオブザーバフレームワークを開発する。 第二に、カーネル手法を用いて状態サイズを動的にスケールアップし、複雑なパターンをキャプチャするためのモデルのキャパシティを向上させる。 第3に,Decorrelated Backpropagation (DBP) を統合して,スケールアップされた状態行列を最適化し,収束性と表現性を向上させる。 状態行列のみをチューニングすることにより、より小さなモデルが与えられたタスクにおいてより大きなモデルより優れていることを示す。 この方法は、テストタイムスケーリングのパワーを活用して優れた結果を提供するとともに、オリジナルのRWKV-7アーキテクチャの効率を保っている。 本研究は,資源制約条件下でのモデル性能向上に有効な手法として,状態調整の可能性を明らかにするものである。 私たちのコードはhttps://github.com/TorchRWKV/flash-linear-attentionです。

関連論文リスト

• Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement [9.454314879815337]
  生成モデルは、しばしば支配的な特異ベクトルを示し、微調整効率を阻害し、最適以下の性能をもたらす。 SVS(Singular Value Scaling, Singular Value Scaling, SVS)は, 両モデルタイプに適用可能な, プレナードウェイトを精製する多用途技術である。 SVSは、追加のトレーニングコストなしでモデルタイプ間の圧縮性能を改善する。
  論文  参考訳（メタデータ） (2024-12-23T08:40:08Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Training dynamic models using early exits for automatic speech recognition on resource-constrained devices [15.879328412777008]
  初期のアーキテクチャは、そのサイズとアーキテクチャを様々なレベルの計算リソースとASRパフォーマンス要求に適応できる動的モデルの開発を可能にする。 また,スクラッチからトレーニングした早期退避モデルは,エンコーダ層が少ない場合に性能を保ちつつ,単一退避モデルや事前学習モデルと比較してタスク精度が向上することを示した。 結果は、ASRモデルの早期アーキテクチャのトレーニングダイナミクスに関する洞察を与える。
  論文  参考訳（メタデータ） (2023-09-18T07:45:16Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models [40.991809705930955]
  トレーニング中に無作為にアテンションヘッドを取り除き、全てのアテンションヘッドをテスト時に保持し、最終モデルは異なるアーキテクチャを持つモデルのアンサンブルである。 提案手法は,ウォールストリートジャーナル,AISHELL,Switchboard,AMIデータセットにおいて,強力なベースラインよりも一貫したパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2020-11-08T15:41:03Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。