論文の概要: Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.01687v1
• Date: Thu, 01 Oct 2026 13:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.153738
• Title: Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
• Title（参考訳）: アーキテクチャサンプリング:凍結ビジョンランゲージモデルにおける計算的多様性によるテスト時間スケーリング
• Abstract要約: テストタイムのスケーリングは、凍結したモデルから複数のレスポンスをサンプリングすることで、より良い回答を求めることが多い。 本稿では,異なるフォワード計算によって候補を生成する学習不要な手法であるアーキテクチャサンプリングを紹介する。
• 参考スコア（独自算出の注目度）: 25.36070624867203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling often seeks better answers by sampling multiple responses from a frozen model, yet conventional temperature sampling generates every candidate along the same fixed computation path. We introduce architectural sampling, a training-free method that generates candidates through distinct forward computations by reusing selected blocks of decoder layers. Varying the block location and repetition count introduces computational diversity without updating model weights or adding auxiliary parameters. Across five Qwen checkpoints and twelve multimodal benchmarks, architectural sampling improves pass@9 over standard-path temperature sampling by 6.58 percentage points on average at the same nine-candidate budget. Reusing early layers yields the strongest gains, and the improvement in candidate coverage persists even under greedy decoding. The resulting candidates show lower lexical overlap and improve accuracy when used as rollouts for label-free test-time reinforcement learning. These findings extend the benefits of our architectural sampling beyond candidate coverage, demonstrating more effective learning from a model's own outputs.
• Abstract（参考訳）: テストタイムスケーリングは、凍結したモデルから複数の応答をサンプリングすることで、より良い解を求めることが多いが、従来の温度サンプリングは、同じ固定された計算経路に沿って全ての候補を生成する。 本稿では,デコーダ層の選択ブロックを再利用して,異なる前方計算により候補を生成する学習不要な手法であるアーキテクチャサンプリングを紹介する。 ブロックの位置と繰り返し数を変えることは、モデルの重みを更新したり補助パラメータを追加することなく、計算の多様性をもたらす。 5つのQwenチェックポイントと12のマルチモーダルベンチマークで、アーキテクチャサンプリングは、標準パス温度サンプリングよりもパス@9を、同じ9候補予算で平均6.58ポイント改善する。 初期のレイヤの再利用は、最も大きな利益をもたらし、候補カバレッジの改善は、greedyデコードの下でも持続する。 その結果, ラベルなしテスト時間強化学習のロールアウトでは, 語彙重なりが低く, 精度が向上した。 これらの知見は、候補範囲を越えてアーキテクチャサンプリングの利点を拡張し、モデル自身の出力からより効果的な学習を実証する。

関連論文リスト

• Hill Sampling for Test-Time Scaling: A Simple and Better Alternative to Repeated Sampling, Evolution, and Training [4.135051601703708]
  大規模言語モデル(LLM)は、テスト時間にさらなる計算を費やすことで、検証可能な科学的およびアルゴリズム的な問題の解を改善することができる。 近年のシステムは、より精巧な進化的探索ハーネスや、テスト時間トレーニング中にモデルパラメータを更新することによって、強力な結果が得られる。 我々は,凍結したLLMから候補プログラムを繰り返しサンプリングする,ヒルクライミング最適化の一形態であるヒルサンプリングを紹介する。
  論文  参考訳（メタデータ） (2026-09-22T00:08:12Z)
• Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning [3.8191765711200065]
  本稿では,テスト時間計算を用いて候補解の探索と改良を行う検証自由幅改良フレームワークを提案する。 提案手法は, 難解な復号化, 多数決投票, 検証器ベースのベスト・オブ・N$, ビームサーチ, および複数のオープンウェイトモデル間でのルック・復号化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-06T06:38:37Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• $S^3$: Stratified Scaling Search for Test-Time in Diffusion Language Models [10.157422365382933]
  テスト時間スケーリングは、より多くの推論計算が与えられたとき、固定拡散言語モデル(DLM)がより良い出力を生成できるかどうかを調べる。 S3$ (Stratified Scaling Search) は,デノナイズ処理中に計算を再配置することで生成を改善するバリデーション誘導探索法である。 LLaDA-8B-Instruct on MATH-500, GSM8K, ARC-Challenge, TruthfulQA による実験では、S3$ はベンチマーク全体のパフォーマンスを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-07T00:51:06Z)
• What If We Allocate Test-Time Compute Adaptively? [2.1713977971908944]
  テストタイムスケーリングは、推論計算を均一に割り当て、固定されたサンプリング戦略を使用し、再ランク付けにのみ検証を適用する。 本稿では,推論を反復的軌跡生成と選択として扱う検証器誘導適応フレームワークを提案する。 データセット全体にわたって、当社の動的PRMガイダンスアプローチは、テスト時間の直接スケーリングよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-01T07:30:22Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization [66.67988187816185]
  本研究の目的は、繰り返しランダムサンプリングにより、オンラインサンプルの数を増大させ、アライメント性能を向上させることである。 実験の結果,サンプルサイズが大きくなるにつれて,この戦略がエフェデクリンの性能向上につながることが明らかとなった。 サンプルの規模が大きくなるにつれてモデル性能を継続的に向上するスケーラブルな嗜好データ構築戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-24T04:22:57Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。