論文の概要: Program-Verified Self-Evolution for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.33855v1
• Date: Sun, 27 Sep 2026 19:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:15:44.609267
• Title: Program-Verified Self-Evolution for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのプログラム検証自己進化
• Abstract要約: 自己進化モデル(VQS)のための検証可能なQA生成法を提案する。 答えに投票する代わりに、モデルは各画像をシーングラフやダイアグラムグラフなどの構造化されたレコードに解析する。 VQSの回答の94%が正解であり、多数決では76%が正解である。
• 参考スコア（独自算出の注目度）: 37.901479820325896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving vision-language models train on questions they generate from unlabeled images. Since these questions have no gold answers, prior methods label them by majority vote over sampled answers or by a model judge. In a human evaluation, we find that 24\% of majority-vote labels and 18\% of model-judge labels produced during self-evolution are wrong. To address this problem, we present Verifiable QA Generation for Self-Evolving Models (VQS), which changes how the model judges answers. Instead of voting on an answer, the model parses each image into a structured record, such as a scene graph, a chart table, or a diagram graph. Fixed programs then write a question from the record and compute its answer. The model still acts as a visual checker, but it only confirms the individual facts the program reads, one short claim at a time. These claim-level checks select the parser's training targets, so the parser also improves without labels. Human raters find 94\% of VQS answers correct, against 76\% for majority voting. Across ten benchmarks, VQS improves Qwen3-VL by up to 3.18 points at the 2B, 4B, and 8B scales and outperforms the strongest self-evolving baseline at each. Gains keep growing over three training rounds, reaching 3.84 points at 2B. Code is released at https://github.com/ahmedheakl/VQS
• Abstract（参考訳）: 自己進化型視覚言語モデルは、ラベルのない画像から生成した質問に基づいて訓練する。 これらの質問には金の答えがないため、事前の方法はサンプル回答やモデル審査員よりも多数決によってラベル付けされる。 人間による評価では、多数決投票のラベルの24\%と、自己進化の過程で生成されるモデル・ジャッジのラベルの18\%が間違っていることが判明した。 この問題に対処するため, 自己進化モデル(VQS)に対する検証可能なQA生成を提案する。 回答に投票する代わりに、モデルは各画像をシーングラフ、チャートテーブル、ダイアグラムグラフなどの構造化されたレコードに解析する。 修正されたプログラムは、レコードから質問を書き、その答えを計算する。 モデルはまだビジュアルチェッカーとして機能するが、プログラムが読む個々の事実を一度に1つの短いクレームで確認するのみである。 これらのクレームレベルチェックはパーサーのトレーニングターゲットを選択するため、ラベルなしでパーサーも改善される。 VQSの回答の94 %は正解であり、多数決では76 %である。 10ベンチマークで、VQSはQwen3-VLを2B、4B、8Bスケールで最大3.18ポイント改善し、それぞれで最強の自己進化ベースラインを上回っている。 得点は3回以上増加し、2Bで3.84点に達した。 コードはhttps://github.com/ahmedheakl/VQSでリリースされる

関連論文リスト

• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling [0.8594140167290097]
  摂動グラウンドドセレクション(Perturbation Grounded Selection、Pgs)は、ラベルのない訓練のないルールであり、モデルがラベル保存された入力の摂動の下でそれを導出するかどうかによって各候補をスコア付けする。 Pgsは圧倒的多数決に勝っているが、デコードフォーマットと予算が制御されたら、摂動という用語が何か追加するかどうかが分かる。
  論文  参考訳（メタデータ） (2026-08-02T12:47:39Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Attention-Based Methods For Audio Question Answering [16.82832919748399]
  本稿では,音声質問応答タスクに対する自己注意と相互注意に基づくニューラルネットワークアーキテクチャを提案する。 すべてのモデルは、最近提案されたClatho-AQAデータセットに基づいて、バイナリのye/no質問とシングルワードの回答質問の両方でトレーニングされています。
  論文  参考訳（メタデータ） (2023-05-31T12:00:51Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Unsupervised Evaluation for Question Answering with Transformers [46.16837670041594]
  本稿では, トランスフォーマーに基づくQAアーキテクチャにおける質問, 回答, コンテキストの隠蔽表現について検討する。 回答表現における一貫したパターンを観察し、予測された回答が正しいかどうかを自動的に評価することができることを示す。 私たちはモデルの解答が正解かどうかを、SQuADの91.37%、SubjQAの80.7%の精度で予測することができる。
  論文  参考訳（メタデータ） (2020-10-07T07:03:30Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。