論文の概要: HALO: Hybrid Adaptive Latent Reasoning for Language Models

• arxiv url: http://arxiv.org/abs/2607.08775v1
• Date: Sun, 03 May 2026 21:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.987627
• Title: HALO: Hybrid Adaptive Latent Reasoning for Language Models
• Title（参考訳）: HALO:言語モデルのためのハイブリッド適応潜在推論
• Abstract要約: 単純なアプローチは、バックボーンの隠された状態の上に改善ステップを追加することである。 ワンステップ精錬ヘッドは弱すぎるが、第2のフルシーケンス精錬ステップを至る所で強制すると、転送を改善することなく計算量を増やすことができる。 本稿では、粗い精錬段階と選択的第二段精錬工程を組み合わせたハイブリッド適応型精錬法HALOを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how to improve a frozen pretrained language model with a small amount of adaptive extra computation. A simple approach is to add additional refinement steps on top of the backbone hidden states, but fixed extra refinement can be wasteful: a one-step refinement head may be too weak, while forcing a second full-sequence refinement step everywhere can increase compute without improving transfer. We introduce HALO, a hybrid adaptive latent-refinement method that combines a coarse refinement stage with selective second-stage latent refinement on a subset of tokens chosen by token scoring and monotonic token halting. On the main public benchmark comparison built from MMLU-Pro and GPQA-Diamond, HALO achieves the best overall average among the paper-facing methods, outperforming the frozen backbone, fixed-1, and fixed-2. Internal analysis further shows that HALO reaches nearly the same token-accuracy level as fixed-2 while using fewer average applied refine steps than fixed-1 and far fewer than fixed-2. These results suggest that the key advantage is not simply more refinement, but a better allocation of refinement: HALO achieves the strongest paper-facing result while also using less measured controller compute than either fixed baseline.
• Abstract（参考訳）: 適応的な余分な計算量が少ないフリーズ事前学習言語モデルを改善する方法について検討する。 単純なアプローチは、バックボーンの隠蔽状態の上にさらなる精細化ステップを追加することであるが、固定された余分な精細化は無駄になりかねない: 1ステップの精細化ヘッドは弱すぎるかもしれない。 トークンスコアリングと単調トークン停止によって選択されたトークンのサブセットに、粗い精錬段階と選択的な第二段階精錬段階を組み合わせたハイブリッド適応型潜伏精錬法HALOを導入する。 MMLU-ProとGPQA-Diamondで構築された主要なベンチマークでは、HALOは紙面法で最高の全体平均を達成し、凍結したバックボーン、固定-1、固定-2を上回ります。 内部分析により、HALOは固定2とほぼ同等のトークン精度に達し、固定1よりも平均的な精錬歩数が少なく、固定2よりもはるかに少ないことが示されている。 HALOは、固定ベースラインよりも少ない測定値のコントローラ計算を使用しながら、最強の紙面結果を達成する。

関連論文リスト

• SchurQuant: Groupwise Discrete Optimization for Layer-Wise LLM Quantization [9.043029012704817]
  本稿では,サフィックスの最適連続応答を解析的に排除するSCHUROPTを紹介する。 クローズドフォームの行単位のスケール/ゼロポイントのリフィッティングと、整数符号上の座標降下を交互に行う。 8つのLlamaモデルとQwenモデルで、SCHURQUANTはゼロショットの精度が最も高い。
  論文  参考訳（メタデータ） (2026-08-16T06:29:10Z)
• LESS Is More: Mutual-Stability Sampling for Diffusion Language Models [23.94639050546374]
  拡散大言語モデル (dLLMs) は自己回帰デコードに代わる有望な代替手段を提供する。 我々は、トークンのコミットメントをオンライン停止問題として扱う、トレーニング不要でモデルに依存しない適応型サンプリングであるtextscLESSを提示する。 textscLESSは、固定予算デコードよりも72.1%のリバースステップを減らしながら、強力なトレーニングなし適応型サンプリング器よりも平均精度を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:15:45Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching [4.01326804806241]
  Rank1-Sketch-based Flexible Rank Selection (R1-FLR) と Best Low-rank Approximation under Clipping (BLC) を導入する。 R1-FLRは高速な低ランク近似のためにガウス射影を持つR1-Sketchを適用し、各層に対して外向きのランク抽出を可能にする。 BLCは、スケーリングとクリッピング戦略の下での低ランク量子化誤差の最小化を目的としている。
  論文  参考訳（メタデータ） (2026-01-09T10:06:45Z)
• Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection [4.808936079900314]
  FO勾配をZO推定と相乗化するためにtextbfHi-ZFO (textbfHierarchical textbfZeroth- and textbfFirst-textbfOrder optimization) を提案する。 また,Hi-ZFOはトレーニング時間を大幅に短縮しつつ,優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2026-01-09T03:20:54Z)
• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Distributionally Robust Reinforcement Learning with Human Feedback [13.509499718691016]
  大規模言語モデルを微調整するための分散ロバストなRLHFを提案する。 我々のゴールは、プロンプトの分布が著しく異なる場合でも、微調整モデルがその性能を維持することである。 我々は,学習した報酬モデルの精度を平均で向上し,推論などのタスクにおいて顕著に向上することを示す。
  論文  参考訳（メタデータ） (2025-03-01T15:43:39Z)
• HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs [48.55966021231297]
  本稿では,トランスフォーマーのための新しい量子化学習手法HALOを提案する。 提案手法により, 前方・後方パスにおける行列乗算の精度が低くなることが保証される。 LLAMAファミリーモデルに適用すると、HALOは様々なタスクの微調整中にほぼ完全精度に等しい結果が得られる。
  論文  参考訳（メタデータ） (2025-01-05T18:41:54Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation [68.25872110275542]
  非自己回帰型機械翻訳のための効率的な推論手法を提案する。 反復的に連続空間で純粋に翻訳を洗練させる。 We evaluate our approach on WMT'14 En-De, WMT'16 Ro-En and IWSLT'16 De-En。
  論文  参考訳（メタデータ） (2020-09-15T15:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。