Fugu-MT 論文翻訳(概要): OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

論文の概要: OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

arxiv url: http://arxiv.org/abs/2606.15920v1
Date: Sun, 14 Jun 2026 16:51:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:33.942231
Title: OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing
Title（参考訳）: OmniOPSD:Rationale-Privileged On-Policy Self-Distillation for Affective Computing
Abstract要約: 大規模言語モデルの強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。我々は,フロンティア生成論理を教師側の特権的証拠として利用するフレームワークであるOmniOPSDを提案する。 MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成した。
参考スコア（独自算出の注目度）: 62.62736813348113
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning for multimodal large language models (MLLMs) is often hindered by severe reward sparsity in complex reasoning tasks. This challenge is particularly pronounced in human-centered scenarios involving states, emotions, intentions, and behaviors, where heterogeneous multimodal signals and subjective human factors make high-quality chain-of-thought (CoT) annotations expensive and difficult to obtain. Although many multimodal datasets provide expert-annotated ground-truth labels, directly using these labels for supervised fine-tuning may encourage shortcut learning in multimodal perception and provides limited transparency for safety-critical human--AI interaction. To address these limitations, we propose OmniOPSD, a Rationale-Privileged On-Policy Self-Distillation framework that uses frontier-generated rationales as teacher-side privileged evidence rather than student imitation targets. OmniOPSD uses frontier-generated evidence-aware rationales only as training-time privileged evidence context for a local teacher. The student samples its own rollout from the original multimodal input, while the rationale-privileged teacher scores the same tokens and provides dense token-level supervision. Thus, the student learns on its own trajectory distribution without directly imitating frontier-model completions, and inference requires no labels, rationales, CoT annotations, or closed-source model access. Experiments on MER-UniBench show that OmniOPSD achieves state-of-the-art performance with an average score of $84.19$, and ablations further support the value of rationale-privileged teacher guidance.
Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。この課題は、状態、感情、意図、行動を含む人間中心のシナリオにおいて特に顕著であり、不均一なマルチモーダル信号と主観的なヒューマンファクターが高品質なチェーン・オブ・シント(CoT)アノテーションを高価で入手し難いものにしている。多くのマルチモーダルデータセットは、専門家による注釈付き地下構造ラベルを提供するが、教師付き微調整にこれらのラベルを直接使用すると、マルチモーダルな知覚におけるショートカット学習が促進され、安全クリティカルな人間-AIインタラクションに対する透明性が制限される可能性がある。これらの制約に対処するために,フロンティア生成論理を教師側の特権的証拠として用い,学生の模倣目標ではなく,フロンティア生成論理を用いた,Rationale-Privileged On-Policy Self-DistillationフレームワークであるOmniOPSDを提案する。 OmniOPSDは、フロンティアの生成したエビデンスを、地元の教師のための訓練時特権エビデンスコンテキストとしてのみ使用する。学生は、オリジナルのマルチモーダル入力から独自のロールアウトをサンプリングし、理性に富んだ教師は、同じトークンをスコアし、密集したトークンレベルの監視を提供する。したがって、学生はフロンティアモデルの完成を直接模倣することなく独自の軌道分布を学習し、推論はラベル、合理性、CoTアノテーション、クローズドソースモデルアクセスを必要としない。 MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成し、Ablationsは合理化された教師指導の価値をさらに支持している。

関連論文リスト

Latent On-Policy Self-Distillation [55.57800223145407]
On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
論文参考訳（メタデータ） (2026-08-13T10:05:51Z)
dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文参考訳（メタデータ） (2026-07-05T17:47:29Z)
DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2026-06-29T17:55:53Z)
Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。 PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。 2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
論文参考訳（メタデータ） (2026-06-05T07:43:22Z)
AIPO: Learning to Reason from Active Interaction [54.10819421625103]
AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
論文参考訳（メタデータ） (2026-05-08T19:06:55Z)
Optimizing In-Context Demonstrations for LLM-based Automated Grading [31.353360036776976]
GUIDE(Grading Using Iteratively Designed Exemplars)は、経験的選択と改善を境界中心の最適化問題として再設計するフレームワークである。物理, 化学, 教育的内容知識の実験において, GUIDE は標準的検索基準を著しく上回っていることを示す。
論文参考訳（メタデータ） (2026-02-28T04:52:38Z)
From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文参考訳（メタデータ） (2026-01-28T09:29:40Z)
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models [44.041109669153506]
On-Policy Self-Distillation (OPSD) は、教師と学生の両方がひとつのモデルで、異なるコンテキストを条件付けして機能するフレームワークである。複数の数学的推論ベンチマークにおいて,本手法の有効性を示す。
論文参考訳（メタデータ） (2026-01-26T17:56:50Z)
"The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。 CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
論文参考訳（メタデータ） (2026-01-20T14:05:19Z)
More Than One Teacher: Adaptive Multi-Guidance Policy Optimization for Diverse Exploration [103.1589018460702]
ガイダンス・オン・デマンド」アプローチは、自己発見の価値を保ちながら探究を広げる。実験の結果、AMPOは強いベースラインを大幅に上回ることが示された。ピアサイズの4人の教師を用いて、より強力な1人の教師を活用できる手法に匹敵する結果が得られる。
論文参考訳（メタデータ） (2025-10-02T17:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。