論文の概要: K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings

• arxiv url: http://arxiv.org/abs/2609.34082v1
• Date: Mon, 28 Sep 2026 01:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:08:35.918484
• Title: K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings
• Title（参考訳）: K-OPSD:AEC図面上でのトレーニング後のビジョンランゲージモデルに対するオン・ポリティ・セルフ蒸留の検証
• Abstract要約: 我々は、AEC描画理解を改善するためのVLMポストトレーニング手法であるK-OPSDを紹介する。 AECV-Benchデータセット上でQwen3-VLモデルを微調整する。 その結果, 検証者による自己蒸留が, より信頼性の高い設計図の機械読解への道のりであることを示す予備的証拠が得られた。
• 参考スコア（独自算出の注目度）: 2.0415648526847088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting architecture, engineering, and construction (AEC) drawings is hard for general Multimodal Large Language Models (MLLMs) and vision-language models (VLMs). We introduce K-OPSD, a VLM post-training methodology for improving AEC drawing understanding. Building on On-Policy Self-Distillation (OPSD) with verifiable supervision, we construct a teacher from the model's own best-of-N generations, certified by a process-level verifier, and rescue failed prompts by resampling under a hint that exposes the verified answer. We then perform an on-policy model update by training on verified completions with a cross-entropy inner-loss, outperforming the bounded token-wise generalized Jensen-Shannon divergence (JSD) used by on-policy distillation. Using K-OPSD, we fine-tune Qwen3-VL models on the AECV-Bench dataset. The resulting models attain the top average judge score (0.819) and combined accuracy (0.738), achieving competitive results against open-source baseline models. The recipe transfers to the out-of-domain ArchCAD dataset, where the 8B model gains most. We present the verifier suite and the continual learning and self-improving pipeline, our results provide preliminary evidence that verifier-guided self-distillation is a promising route toward more reliable machine reading of architecture drawings.
• Abstract（参考訳）: アーキテクチャ、エンジニアリング、構築(AEC)図面の解釈は、MLLM(Multimodal Large Language Models)やビジョン言語モデル(VLM)では難しい。 我々は、AEC描画理解を改善するためのVLMポストトレーニング手法であるK-OPSDを紹介する。 本研究は,OPSD (On-Policy Self-Distillation) に基づいて,教師をモデル自身の最良N世代から構築し,プロセスレベルの検証者によって認定され,検証された回答を露出するヒントの下で再サンプリングすることで,救助が失敗する。 そこで我々は, クロスエントロピー内装による検証完了をトレーニングし, オンポリケーション蒸留で用いられる有界トークンワイドのJensen-Shannon divergence (JSD) よりも優れるオンラインモデル更新を行った。 K-OPSDを用いて、AECV-Benchデータセット上でQwen3-VLモデルを微調整する。 その結果得られたモデルは、平均審査スコア(0.819)と総合精度(0.738)を達成し、オープンソースのベースラインモデルと競合する結果を得た。 レシピはドメイン外のArchCADデータセットに転送される。 本稿では,検証者による自己蒸留が,建築図面のより信頼性の高い機械読解への道筋であることを示す予備的証拠として,検証者スイートと継続学習,自己改善パイプラインを提案する。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• CoSineVerifier: Tool-Augmented Answer Verification for Computation-Oriented Scientific Questions [32.14674040685995]
  本稿では,外部ルーリックを利用して正確な計算と記号の単純化を行うツール拡張検証器モデルを提案する。 STEM科目、一般QA、長文推論タスクで行った実験は、モデルの強力な一般化を示している。
  論文  参考訳（メタデータ） (2025-12-01T03:08:43Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Extracting Structured Requirements from Unstructured Building Technical Specifications for Building Information Modeling [0.0]
  本研究では,建築情報モデリングと自然言語処理(NLP)の統合について検討する。 建設業界における非構造化のフランス建築技術仕様書からの要求の抽出を自動化することを目的としている。 その結果,CamemBERTとFr_core_news_lgはNERにおいて優れた性能を示し,F1スコアは90%以上,Random ForestはREにおいて最も有効であり,F1スコアは80%以上であった。
  論文  参考訳（メタデータ） (2025-08-19T13:55:41Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation [31.61985215677114]
  SECデータに対するMeta-Llama-3-70B-Instructモデルのドメイン適応に関する広範な実験を行った。 我々の焦点は、継続事前学習(CPT)とモデルのマージであり、モデルのドメイン固有の機能を強化することを目的としていた。 これは、プロセス全体を理解するための徹底的な評価を備えた、プレプリントの技術レポートです。
  論文  参考訳（メタデータ） (2024-06-21T08:29:31Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
  変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。 PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。 複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2020-10-26T12:34:23Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。