論文の概要: Test-Time Scaling for Small VLMs on Multilingual Visual MCQ
- arxiv url: http://arxiv.org/abs/2607.09438v1
- Date: Fri, 10 Jul 2026 14:09:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.857991
- Title: Test-Time Scaling for Small VLMs on Multilingual Visual MCQ
- Title(参考訳): マルチリンガル視覚MCQを用いた小型VLMのテスト時間スケーリング
- Abstract要約: 自己整合性,記述領域とPRM誘導ビームサーチ,およびQwen2.5-VL-7B-インストラクトとQwen3.5-4Bの2つのポストホックセレクタを比較した。
重要なのは、TTSが実行している条件であり、検索や検証の仕組みではない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time scaling (TTS) reliably improves reasoning in large language models, but whether it transfers to small open vision-language models remains unclear. We examine this on EXAMS-V, a multilingual visual multiple-choice benchmark, comparing self-consistency, describe-then-reason with PRM-guided beam search, and two post-hoc selectors across Qwen2.5-VL-7B-Instruct and Qwen3.5-4B. What matters is the conditions under which TTS runs, not the search or verification machinery. The largest factor is parseability: an early prompt format left many chains reasoning correctly yet never committing to an answer letter, which a standard answer cue and a guided repair step largely remove. A larger decoding budget removes the rest: raising the per-chain token limit from 1k to 2k recovers 3.7 pp, whereas sampling more chains (8 to 16) adds only 0.15 pp. Once chains have room to finish, elaborate methods contribute little: PRM-guided beam search trails plain self-consistency by 0.39 pp at over eight times the cost, and neither a training-free generative critic nor a trained multimodal PRM beats majority vote across both policies. The largest gain comes instead from the policy model itself (+11.4 pp). Our best configuration reaches 84.1% on the held-out ImageCLEF 2026 test split, ranking first on the Visual MCQ leaderboard.
- Abstract(参考訳): テストタイムスケーリング(TTS)は、大規模言語モデルの推論を確実に改善するが、小さなオープンビジョン言語モデルに移行するかどうかは不明だ。
マルチリンガル視覚多重選択ベンチマークであるEXAMS-Vで、自己整合性、記述-then-reasonとPRM誘導ビームサーチを比較し、Qwen2.5-VL-7B-InstructとQwen3.5-4Bの2つのポストホックセレクタについて検討した。
重要なのは、TTSが実行している条件であり、検索や検証の仕組みではない。
もっとも大きな要因は解析可能性である: 初期のプロンプトフォーマットは、多くのチェーンが正しく推論したが、標準の回答キューとガイド付き修復ステップが大幅に削除された応答レターにコミットしなかった。
チェーン単位のトークン制限を1kから2kに引き上げると3.7ppが回復し、より多くのチェーン(8から16)をサンプリングすると0.15ppが増加する。
PRM誘導のビームサーチトレイルは、コストの8倍以上のコストで0.39ppの自己整合性を保ち、トレーニングなしのジェネレーティブ批評家も訓練されたマルチモーダルPRMも、両政策の過半数を破りません。
最大の利益は、代わりにポリシーモデル自体(+11.4 pp)から得られる。
私たちの最高の設定は、開催中のImageCLEF 2026テストスプリットで84.1%に達し、Visual MCQリーダーボードで第1位にランクインしました。
関連論文リスト
- Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - Process Supervision via Verbal Critique Improves Reasoning in Large Language Models [1.472161528588343]
Verbal Process Supervision (VPS) は、より強力なスーパーバイザから構造化された自然言語批判を使用して、反復的な生成-批判-再定義ループを丸い予算Rまでガイドする、トレーニング不要のフレームワークである。
VPSはGPQA Diamond、AIME 2025、LiveCodeBench V6の3つの主要な結果を得る。
これらの結果は、推論時間スケーリングの新たな軸として、批判的な粒度を確立する。
論文 参考訳(メタデータ) (2026-04-23T12:36:12Z) - PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation [0.533024001730262]
PolyFrameは、画像+テキストランキング(Subtask A)とテキストのみのキャプションランキング(Subtask B)の両方のための統合パイプラインである。
全てのモデルでは、凍ったCLIPスタイルの視覚言語エンコーダと、軽量モジュールのみを訓練する多言語BGE M3エンコーダが保持されている。
マルチリンガルブラインドテストでは,Subtask Aは0.35/0.73,Subtask Bは0.32/0.71であった。
論文 参考訳(メタデータ) (2026-02-20T23:07:55Z) - MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。
小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。
本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
論文 参考訳(メタデータ) (2026-02-05T04:58:16Z) - Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge [87.51901436392427]
大規模言語モデルは、しばしばChain-of-Thought (CoT)でより効果的に複雑な推論タスクを解決する。
対照的に、人間は、しばしば、もっともらしい次のステップに対して、引力のある確率分布を維持することによって、柔らかに理にかなっている。
我々は、K候補トークンをサンプリングし、それらの埋め込みを1つの連続多重化トークンに集約するソフトな推論機構である多重思考を提案する。
モデルは自信を持っていれば、多重化トークンはほぼ独立しており、標準のCoTのように振る舞う。
論文 参考訳(メタデータ) (2026-01-13T18:48:00Z) - Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。
この問題を修正するために,自己整合サンプリング(SCS)を提案する。
Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
論文 参考訳(メタデータ) (2025-11-13T18:59:57Z) - Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。
Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
論文 参考訳(メタデータ) (2025-10-30T04:08:53Z) - How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding [3.8914132324834045]
CoT(Chain-of- Thought)は、多段階タスクにおけるLarge Language Modelsの精度を高める。
しかし、生成された「考え」が真の内部推論過程を反映しているかどうかは未解決である。
本研究は,CoT忠実度に関する最初の特徴レベル因果研究である。
論文 参考訳(メタデータ) (2025-07-24T10:25:46Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳(メタデータ) (2025-05-30T15:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。