論文の概要: C-voting: Confidence-Based Test-Time Voting without Explicit Energy Functions
- arxiv url: http://arxiv.org/abs/2604.13521v1
- Date: Wed, 15 Apr 2026 06:10:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.408466
- Title: C-voting: Confidence-Based Test-Time Voting without Explicit Energy Functions
- Title(参考訳): C-voting: 明示的なエネルギー機能を持たない信頼に基づくテスト時間投票
- Authors: Kenji Kubo, Shunsuke Kamiya, Masanori Koyama, Kohei Hayashi, Yusuke Iwasawa, Yutaka Matsuo,
- Abstract要約: 信頼に基づく投票(C-voting)は、複数の潜在候補軌跡を持つ反復モデルのために設計されたテスト時間スケーリング戦略である。
C投票の精度はエネルギーベースの投票戦略よりも4.9%高い。
C-ボイティングの基本的な利点は、その適用性であり、明示的なエネルギー関数を必要とせずに再帰モデルに適用することができる。
- 参考スコア(独自算出の注目度): 36.0589286158745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network models with latent recurrent processing, where identical layers are recursively applied to the latent state, have gained attention as promising models for performing reasoning tasks. A strength of such models is that they enable test-time scaling, where the models can enhance their performance in the test phase without additional training. Models such as the Hierarchical Reasoning Model (HRM) and Artificial Kuramoto Oscillatory Neurons (AKOrN) can facilitate deeper reasoning by increasing the number of recurrent steps, thereby enabling the completion of challenging tasks, including Sudoku, Maze solving, and AGI benchmarks. In this work, we introduce confidence-based voting (C-voting), a test-time scaling strategy designed for recurrent models with multiple latent candidate trajectories. Initializing the latent state with multiple candidates using random variables, C-voting selects the one maximizing the average of top-1 probabilities of the predictions, reflecting the model's confidence. Additionally, it yields 4.9% higher accuracy on Sudoku-hard than the energy-based voting strategy, which is specific to models with explicit energy functions. An essential advantage of C-voting is its applicability: it can be applied to recurrent models without requiring an explicit energy function. Finally, we introduce a simple attention-based recurrent model with randomized initial values named ItrSA++, and demonstrate that when combined with C-voting, it outperforms HRM on Sudoku-extreme (95.2% vs. 55.0%) and Maze (78.6% vs. 74.5%) tasks.
- Abstract(参考訳): 遅延リカレント処理を伴うニューラルネットワークモデルでは,同一層を遅延状態に再帰的に適用することで,推論タスクを実行する上で有望なモデルとして注目されている。
このようなモデルの強みは、テスト時間のスケーリングを可能にすることだ。
階層的推論モデル (HRM) や人工倉本振動ニューロン (AKOrN) のようなモデルでは、繰り返しステップの数を増やすことでより深い推論を容易にし、スドク、迷路解決、AGIベンチマークなどの課題の完了を可能にする。
本研究では,複数の潜在候補軌跡を持つ繰り返しモデルを対象としたテスト時間スケーリング戦略である信頼性ベースの投票(C-voting)を導入する。
確率変数を用いた複数の候補による潜伏状態の初期化において、C投票は予測の上位1確率の平均を最大化し、モデルの信頼性を反映する。
さらに、明示的なエネルギー関数を持つモデルに特有なエネルギーベースの投票戦略よりも4.9%高い精度が得られる。
C-ボイティングの基本的な利点は、その適用性であり、明示的なエネルギー関数を必要とせずに再帰モデルに適用することができる。
最後に、IterSA++という名前のランダム化初期値を持つ単純な注意ベースのリカレントモデルを導入し、C-votingと組み合わせると、Sudoku-extreme(95.2%対55.0%)とMaze(78.6%対74.5%)のタスクでHRMを上回っていることを示す。
関連論文リスト
- High-Fidelity Pruning for Large Language Models [10.13987648511885]
大規模言語モデル(LLM)は、幅広いタスクにわたって例外的なパフォーマンスを示してきたが、その重要な計算とメモリ要件は、デプロイメントにおいて大きな課題を呈している。
本稿では,ニューロンの重要度を効率的に評価するために,モデル出力分布の簡易かつ効果的な情報エントロピー法を提案する。
論文 参考訳(メタデータ) (2026-03-09T08:24:48Z) - Learning Ordinal Probabilistic Reward from Preferences [25.069054134899744]
確率的リワードモデル(PRM: Probabilistic Reward Model)を提案する。
提案手法では,報酬を決定論的スカラーとしてモデル化する代わりに,ランダム変数として扱い,各応答の品質の完全な確率分布を学習する。
OPRM上に構築したRerea Flooding Tuning(RgFT)と呼ばれるデータ効率のトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2026-02-13T06:43:02Z) - Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。
本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。
拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
論文 参考訳(メタデータ) (2025-08-13T17:33:37Z) - Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。
従来の自己回帰復号法と比較して,STANDは推論遅延を60~65%削減することを示した。
モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
論文 参考訳(メタデータ) (2025-06-05T07:31:18Z) - S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models [2.9925837108958864]
テスト時間スケーリングは、大規模な言語モデルコミュニティに活発な研究対象として現れます。
最近の研究では、推論モデル(Qwen3でさえも過度の思考冗長性を示すことが示されている。
本稿では,新たな強化学習パラダイムであるS-GRPO(Serial-Group Decaying-Reward Policy Optimization)を紹介する。
論文 参考訳(メタデータ) (2025-05-12T15:50:44Z) - Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。
本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。
本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
論文 参考訳(メタデータ) (2025-02-25T19:08:07Z) - Human-in-the-Loop Feature Selection Using Interpretable Kolmogorov-Arnold Network-based Double Deep Q-Network [2.259291861960906]
本研究では,Double Deep Q-Network (DDQN)に統合されたHuman-in-the-loop (HITL)機能選択フレームワークを提案する。
我々の新しいアプローチは、シミュレーションされた人間のフィードバックと分布に基づくサンプリング、特にベータを利用して、データインスタンスごとの機能サブセットを反復的に洗練する。
Kan-DDQNは、MNISTが93%、FashionMNISTが83%で、従来のDDQNモデルよりも9%向上した。
論文 参考訳(メタデータ) (2024-11-06T08:13:09Z) - Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。
モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。
その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
論文 参考訳(メタデータ) (2024-10-17T17:59:59Z) - Goodness-of-Fit Test for Mismatched Self-Exciting Processes [18.892845399295254]
我々は、擬似リフタル推定器(QMLE)の古典的統計理論とこの問題に新たな関連性を持たせることにより、自己励振過程の生成モデルのためのGOFテストを開発する。
本稿では,GOFテストのための非パラメトリック自己正規化統計学:一般スコア統計学(GS)について述べる。
論文 参考訳(メタデータ) (2020-06-16T18:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。