論文の概要: ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation

• arxiv url: http://arxiv.org/abs/2509.25100v1
• Date: Mon, 29 Sep 2025 17:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.169004
• Title: ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
• Title（参考訳）: ORPO-Distill:Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
• Authors: Aasheesh Singh, Vishal Vaddina, Dagnachew Birru,
• Abstract要約: 本稿では, 優先最適化タスクとして問題を定式化する, クロスアーキテクチャ LLM 蒸留の汎用的手法である ORPO-Distill を紹介する。 Odds-Ratio Preference Optimization(Odds-Ratio Preference Optimization)は、教師と生徒のトレースを対比して、より効果的な学習を行うための目標である。 5つのデータセットと複数の学生モデルの実験は、従来のブラックボックスKDベースラインよりも一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 1.0978496459260902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ORPO-Distill, a general-purpose method for cross-architecture LLM distillation that formulates the problem as a preference optimization task. Un- like standard CoT distillation, the approach transfers knowledge through diverse reasoning traces. It employs an Odds-Ratio Preference Optimization objective that contrasts teacher and student traces for more effective learning, and adopts a mixed-policy strategy for utilizing student-generated outputs, outperforming both off- and on-policy alternatives. Experiments on five datasets and multiple student models show consistent improvements over conventional black-box KD baselines.
• Abstract（参考訳）: 本稿では, 優先最適化タスクとして問題を定式化する, クロスアーキテクチャ LLM 蒸留の汎用的手法である ORPO-Distill を紹介する。 標準的なCoT蒸留のように、このアプローチは様々な推論トレースを通じて知識を伝達する。 Odds-Ratio Preference Optimization(Odds-Ratio Preference Optimization)は、教師と生徒のトレースを対比して、より効果的な学習をし、学生が生成したアウトプットを活用するための混合政治戦略を採用し、オフ・アンド・オン・ポリティクスの両方に勝る。 5つのデータセットと複数の学生モデルの実験は、従来のブラックボックスKDベースラインよりも一貫した改善を示している。

関連論文リスト

• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
  オフライン多目的最適化のための優先誘導拡散モデルを提案する。 我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。 本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-21T16:49:38Z)
• Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment [45.45508377432791]
  本稿では、人気のある選好最適化手法を統合する数学的フレームワークであるReward-Aware Preference Optimization (RPO)を紹介する。 RPOは、様々な設計選択の影響を混乱させ、体系的に研究するための構造化されたアプローチを提供する。 そこで我々は,このような設計選択をクリーンかつ直接アブレーションできる新しい実験装置を提案する。
  論文  参考訳（メタデータ） (2025-01-31T22:39:04Z)
• Teaching LLMs to Refine with Tools [68.23479664749271]
  大規模言語モデル(LLM)はフィードバックに基づいて応答を洗練し、反復的なトレーニングやテスト時間の改良を通じて自己改善を可能にする。 外部ツールを用いて同一または他のLLMによって生成されたチェーン・オブ・シント(CoT)応答を洗練するための新しいアプローチであるCaPを提案する。
  論文  参考訳（メタデータ） (2024-12-22T05:43:50Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
  コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。 識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。 実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
  論文  参考訳（メタデータ） (2023-06-28T02:19:35Z)
• Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
  教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。 本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
  論文  参考訳（メタデータ） (2022-09-28T15:13:58Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。