論文の概要: Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations
- arxiv url: http://arxiv.org/abs/2604.21018v1
- Date: Wed, 22 Apr 2026 19:07:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.142666
- Title: Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations
- Title(参考訳): In-Context Demonstrations を進化させた適応型テスト時間計算アロケーション
- Authors: Bowen Zuo, Dongruo Zhou, Yinglun Zhu,
- Abstract要約: 本稿では,計算に費やされた場所と生成方法に共同で適応するテスト時間計算割当フレームワークを提案する。
提案手法は,推定時間計算を著しく削減しつつ,既存のベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 25.993304809118726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While scaling test-time compute can substantially improve model performance, existing approaches either rely on static compute allocation or sample from fixed generation distributions. In this work, we introduce a test-time compute allocation framework that jointly adapts where computation is spent and how generation is performed. Our method begins with a warm-up phase that identifies easy queries and assembles an initial pool of question-response pairs from the test set itself. An adaptive phase then concentrates further computation on unresolved queries while reshaping their generation distributions through evolving in-context demonstrations -- conditioning each generation on successful responses from semantically related queries rather than resampling from a fixed distribution. Experiments across math, coding, and reasoning benchmarks demonstrate that our approach consistently outperforms existing baselines while consuming substantially less inference-time compute.
- Abstract(参考訳): テスト時間計算のスケーリングはモデルのパフォーマンスを大幅に改善するが、既存のアプローチは静的な計算割り当てか、固定された生成分布からのサンプルに依存する。
本研究では,計算に費やされた場所と生成方法に共同で適応するテスト時間計算割当フレームワークを提案する。
提案手法は,簡単なクエリを識別するウォームアップフェーズから始まり,テストセット自体から質問応答対の初期プールを組み立てる。
アダプティブフェーズは、未解決のクエリにさらなる計算を集中させ、インコンテキストのデモを進化させ、その生成ディストリビューションを再構築する。
数学、コーディング、推論のベンチマークによる実験は、我々のアプローチが既存のベースラインをはるかに少ない推論時間計算を消費しながら一貫して上回っていることを示している。
関連論文リスト
- What If We Allocate Test-Time Compute Adaptively? [2.1713977971908944]
テストタイムスケーリングは、推論計算を均一に割り当て、固定されたサンプリング戦略を使用し、再ランク付けにのみ検証を適用する。
本稿では,推論を反復的軌跡生成と選択として扱う検証器誘導適応フレームワークを提案する。
データセット全体にわたって、当社の動的PRMガイダンスアプローチは、テスト時間の直接スケーリングよりも一貫して優れています。
論文 参考訳(メタデータ) (2026-02-01T07:30:22Z) - Latency and Token-Aware Test-Time Compute [3.573250939705335]
推測時間スケーリングは、複数の候補応答を生成し、それらの中から選択することで、大きな言語モデル(LLM)の性能を向上させることができる。
動的計算アロケーションとメソッド選択の問題として,推論時間スケーリングを定式化する。
我々のフレームワークはトークンコストとウォールクロックのレイテンシの両方を明示的に組み込んでおり、後者はユーザエクスペリエンス、特にエージェントモデルにとって重要なものです。
論文 参考訳(メタデータ) (2025-09-11T21:35:19Z) - IT$^3$: Idempotent Test-Time Training [95.78053599609044]
ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。
Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。
この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
論文 参考訳(メタデータ) (2024-10-05T15:39:51Z) - DOTA: Distributional Test-Time Adaptation of Vision-Language Models [69.41389326333771]
トレーニングデータとテストデータの間に大きな分散ギャップが存在する場合、視覚言語の基礎モデルは信頼できない。
本稿では,DOTA(DistributiOnal Test-time Adaptation)を提案する。
この分散中心のアプローチは、モデルが継続的に学習し、デプロイメント環境に適応することを可能にする。
論文 参考訳(メタデータ) (2024-09-28T15:03:28Z) - Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
オンライン自己学習によるテスト時間適応のための新しい手法を提案する。
提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。
実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
論文 参考訳(メタデータ) (2024-08-14T12:40:57Z) - Adaptive scheduling for adaptive sampling in POS taggers construction [0.27624021966289597]
音声タグ作成における機械学習の新たな手法として適応的サンプリングのための適応的スケジューリングを提案する。
本研究では,関数モデルとともに幾何学的に学習曲線の形状を分析し,任意のタイミングで学習曲線を増減する。
また,評価の一時的なインフレーションを受けるトレーニングデータベースの領域に注意を払い,サンプリングの堅牢性も向上する。
論文 参考訳(メタデータ) (2024-02-04T15:02:17Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳(メタデータ) (2022-08-10T12:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。