論文の概要: ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection

• arxiv url: http://arxiv.org/abs/2608.09789v1
• Date: Mon, 10 Aug 2026 16:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.38078
• Title: ADOPD: Reference-Privileged On-Policy Distillation for MLLM-Based Industrial Anomaly Detection
• Title（参考訳）: ADOPD:MLLMによる産業異常検出のための基準選択型オンポリシング
• Abstract要約: 産業的異常検出には、正常な視覚パターンから微細な偏差を識別する必要がある。 トレーニング中の参照へのアクセスは、参照対応の教師がクエリのみの学生を監督することを可能にする。 そこで我々は, 基準民営型オンライン蒸留フレームワークであるADOPDを提案する。
• 参考スコア（独自算出の注目度）: 15.5664235470661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Industrial anomaly detection (IAD) requires identifying fine-grained deviations from normal visual patterns. Multimodal large language models (MLLMs) can improve recognition accuracy by comparing query images with references at inference time, but these benefits rely on additional retrieval and processing. We investigate whether the benefits of reference comparison can instead be internalized in the model parameters. Access to references during training allows a reference-aware teacher to supervise a query-only student. However, the teacher may favor plausible responses based on query cues or language priors rather than valid visual information. We propose ADOPD, a reference-privileged on-policy distillation framework. The teacher evaluates student-generated rollouts under matched and mismatched references. The matched-reference teacher-to-student log-ratio defines the token-level learning direction, specifying what the student should learn. The likelihood gap between the two reference views estimates reference-specific support and calibrates the sequence-level weight. ADOPD achieves 77.31% average accuracy on the MMAD benchmark under zero-shot inference, improving the Qwen3-VL-4B backbone by 6.14 points and outperforming its one-shot setting by 2.64 points. Experiments show that ADOPD learns a fine-grained anomaly inspection strategy from reference comparison. The project will be available at https://github.com/withTai/ADOPD.
• Abstract（参考訳）: 産業異常検出(IAD)は、正常な視覚パターンから微細な偏差を識別する必要がある。 マルチモーダル大言語モデル(MLLM)は、クエリ画像と推論時の参照を比較することで、認識精度を向上させることができるが、これらの利点は追加の検索と処理に依存する。 参照比較の利点をモデルパラメータに内在化できるかどうかを検討する。 トレーニング中の参照へのアクセスは、参照対応の教師がクエリのみの学生を監督することを可能にする。 しかし、教師は、有効な視覚情報よりも、クェリキューや言語先行に基づく妥当な応答を好むかもしれない。 そこで我々は, 基準民営型オンライン蒸留フレームワークであるADOPDを提案する。 教師は、マッチした参照とミスマッチした参照の下で、学生が生成したロールアウトを評価する。 一致する教師対学生の対数比はトークンレベルの学習方向を定義し、学生が何を学習すべきかを規定する。 2つの参照ビュー間の可能性ギャップは、参照固有のサポートを推定し、シーケンスレベルの重みを校正する。 ADOPDは、ゼロショット推論でMMADベンチマークの平均精度77.31%を達成し、Qwen3-VL-4Bのバックボーンを6.14ポイント改善し、ワンショット設定を2.64ポイント上回る。 実験の結果,ADOPDは参照比較から微細な異常検査戦略を学習することがわかった。 プロジェクトはhttps://github.com/with Tai/ADOPD.comで公開される。

関連論文リスト

• V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
  視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-26T09:40:46Z)
• Rethinking Privileged Information in On-Policy Self-Distillation [45.88028371034407]
  On-policy Self-distillation (OPSD)は、特権的参照情報に基づく同じモデルからトークンレベルの監督を使用して、学生に独自の反応を訓練する。 本研究は,OPSDによる性能向上が,学習者が参照中の情報を学習したことを示すか,あるいはベースモデルにすでに存在する推論行動の回復を反映しているかを検討する。
  論文  参考訳（メタデータ） (2026-08-18T19:42:16Z)
• Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models [23.269235615604245]
  We introduced Lightning OPD 2.0 with cross-fitted style residualization。 数学的推論とコード生成のベンチマークを通じて、Lightning OPD 2.0は、教師間の設定でLightning OPDを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-30T16:17:15Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
  自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。 このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。 複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T03:06:36Z)
• RefOnce: Distilling References into a Prototype Memory for Referring Camouflaged Object Detection [29.264612094775988]
  Ref-CODセグメントは、小さな参照画像のセットを活用することで、シーン内でカモフラージュされたオブジェクトを指定する。 現在のシステムでは、テスト時に参照画像を必要とするデュアルブランチ設計を採用している。 トレーニング中に参照をクラスプロトタイプメモリに蒸留し,推論時に参照ベクトルを合成するRef-CODフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-26T02:42:52Z)
• FineRef: Fine-Grained Error Reflection and Correction for Long-Form Generation with Citations [30.28908306106096]
  FineRefはモデルに、2つの重要な引用エラー、ミスマッチと無関係を自己識別し、修正するように教える。 FineRefは、引用性能と回答精度の両方を大幅に改善する。 我々の7Bモデルは、Citation F1では最大18%、EMリコールでは4%、GPT-4より優れています。
  論文  参考訳（メタデータ） (2025-11-18T09:35:12Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision [26.922922043969958]
  我々は、コンピュータ・アズ・教師(CaT)による調査を監督に転換することを提案する。 CaTは平行ロールアウトのグループから単一の参照を合成し、それに向けて最適化する。 テストタイムの手順として、CaTはGemma 3 4B、Qwen 3 4B、Llama 3.1 8Bを改善している。
  論文  参考訳（メタデータ） (2025-09-17T17:59:42Z)
• Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance [74.43264459255121]
  現実のシナリオでは、ユーザーは複数の関連するオプションを調べた後、1つまたは2つの結果だけをクリックします。 本稿では,ユーザが異なる検索結果リストをクリックする確率を捉えるために,クエリレベルのクリック確率モデルを提案する。 本手法では,2次元逆重み付け機構を導入し,相対飽和度と位置偏差に対処する。
  論文  参考訳（メタデータ） (2025-02-17T03:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。