論文の概要: Revisiting Test-Time Scaling: A Survey and a Diversity-Aware Method for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2506.04611v1
• Date: Thu, 05 Jun 2025 04:02:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.521734
• Title: Revisiting Test-Time Scaling: A Survey and a Diversity-Aware Method for Efficient Reasoning
• Title（参考訳）: テスト時間スケーリングを再考する:効率的な推論のための多様性認識手法と調査
• Authors: Ho-Lam Chung, Teng-Yun Hsiao, Hsiao-Ying Huang, Chunerh Cho, Jian-Ren Lin, Zhang Ziwei, Yun-Nung Chen,
• Abstract要約: テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、Large Language Models(LLM)の推論性能を改善する。 我々は、推論最適化モデルが、TSの有効性を制限するような、より多様な出力を生成することが多いことを観察する。 多様性を重視したデータストラテジーにプレフィックスチューニングを適用する軽量な手法であるADAPTを提案する。
• 参考スコア（独自算出の注目度）: 19.426979775180797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-Time Scaling (TTS) improves the reasoning performance of Large Language Models (LLMs) by allocating additional compute during inference. We conduct a structured survey of TTS methods and categorize them into sampling-based, search-based, and trajectory optimization strategies. We observe that reasoning-optimized models often produce less diverse outputs, which limits TTS effectiveness. To address this, we propose ADAPT (A Diversity Aware Prefix fine-Tuning), a lightweight method that applies prefix tuning with a diversity-focused data strategy. Experiments on mathematical reasoning tasks show that ADAPT reaches 80% accuracy using eight times less compute than strong baselines. Our findings highlight the essential role of generative diversity in maximizing TTS effectiveness.
• Abstract（参考訳）: テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、Large Language Models(LLM)の推論性能を改善する。 TTS手法の構造化調査を行い、それらをサンプリングベース、探索ベース、軌道最適化戦略に分類する。 我々は、推論最適化モデルが、TSの有効性を制限するような、より多様な出力を生成することが多いことを観察する。 そこで本研究では,多様性に着目したデータ戦略を用いたプレフィックスチューニング手法であるADAPT(A Diversity Aware Prefix fine-Tuning)を提案する。 数学的推論タスクの実験では、ADAPTは強いベースラインの8倍の計算量で80%の精度に達することが示されている。 以上の結果から, TTSの有効性を最大化する上で, 生成多様性が重要な役割を担っていることが示唆された。

関連論文リスト

• Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning [81.50681925980135]
  本稿では,ステップワイズ推論チェックポイント分析(SRCA)を提案する。 本研究は,(1)中間チェックポイント回答による経路推論をグループ化して品質を確保しつつ多様性を維持するAnswer-Clustered Search,(2)最終決定にすべての中間回答を活用するCheckpoint Candidate Augmentationの2つの主要な戦略を取り入れた。 提案手法は経路均質化を効果的に低減し,高品質な中間結果を活用することにより耐故障機構を創出する。
  論文  参考訳（メタデータ） (2025-05-23T12:42:50Z)
• Test-Time Training Provably Improves Transformers as In-context Learners [49.09821664572445]
  テキスト内学習のための勾配に基づくTTTアルゴリズムについて検討する。 テストプロンプトで提供されるコンテキスト内デモに対して,トランスフォーマーモデルをトレーニングする。 経験的貢献として,TabPFNに対するTTTの有用性について検討した。
  論文  参考訳（メタデータ） (2025-03-14T20:06:37Z)
• Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
  DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。 理論解析により, 微妙な仮定の下では, 種々のプロンプトから発生する応答の誤り率は, 定常プロンプトによる応答よりも有意に低いことが示された。
  論文  参考訳（メタデータ） (2025-02-16T07:37:58Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• DATTA: Towards Diversity Adaptive Test-Time Adaptation in Dynamic Wild World [6.816521410643928]
  本稿では,QoE(Quality of Experience)の改善を目的としたDATTA(Diversity Adaptive Test-Time Adaptation)という手法を提案する。 バッチの多様性を評価するダイバーシティ識別(DD)、DDの洞察に基づく正規化手法を調整するためのダイバーシティ適応バッチ正規化(DABN)、モデルを選択的に微調整するダイバーシティ適応細調整(DAFT)の3つの主要なコンポーネントが特徴である。 実験結果から,本手法の精度は最先端手法と比較して最大21%向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-15T09:50:11Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
  テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。 この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。 トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
  論文  参考訳（メタデータ） (2023-04-10T10:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。