論文の概要: MIRROR: From Imitation to Internalization in LLM Personalization

• arxiv url: http://arxiv.org/abs/2610.09795v1
• Date: Wed, 07 Oct 2026 10:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.852829
• Title: MIRROR: From Imitation to Internalization in LLM Personalization
• Title（参考訳）: MIRROR: LLMパーソナライゼーションにおける模倣から内部化へ
• Abstract要約: 我々は,新しい自己蒸留フレームワークであるMIRROR(Meta- Personalization by internalizing Reference-Revealed On-policy Reflections)を紹介する。 まず、参照トークンの模倣を、参照されたオン・ポリティクスの自己蒸留に置き換え、モデルの次トーケン分布を、自身の世代軌道に沿って整列させる。 第二にMIRROR-Fは、情報参照トークンに対する選択的監督と、政治上の分散アライメントを増強する焦点プラグインである。
• 参考スコア（独自算出の注目度）: 1.9648921025288544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The demand for personalized LLMs is shifting from style imitation toward content quality. We investigate whether self-distillation can bridge this gap in existing fine-tuning paradigm. To address this limitation, we introduce MIRROR(Meta- personalization by Internalizing Reference-Revealed On-policy Reflections), a novel self-distillation framework that shifts LLM personalization from imitation toward preference internalization. First, we replace reference-token imitation with reference-revealed on-policy self-distillation, aligning the model's next-token distributions along its own generation trajectories with those of its reference-conditioned self, thereby internalizing user preferences rather than reproducing reference wording.Second, we introduce MIRROR-F, a focal plug-in that augments on-policy distributional alignment with selective supervision over informative reference tokens, thereby strengthening content generation while preserving user-specific expression. Across three personalized generation benchmarks, two model scales, and complementary reference-based and LLM-based evaluations, MIRROR and MIRROR-F achieve leading overall personalization performance and superior text quality, while exhibiting less catastrophic forgetting than SFT-based baselines on three unseen personalized generation tasks. The gains are consistent across model scales and application scenarios, translating to improved performance in LLM personalization tasks.
• Abstract（参考訳）: パーソナライズされたLLMの需要は、スタイルの模倣からコンテンツ品質へとシフトしている。 既存の微調整パラダイムにおいて, 自己蒸留がこのギャップを埋めるかどうかを検討する。 この制限に対処するために、LLMのパーソナライゼーションを模倣から好みの内化へとシフトさせる新しい自己蒸留フレームワークであるMIRROR(Meta- Personalization by internalizing Reference-Revealed On-policy Reflections)を導入する。 まず,参照・ツーケンの模倣を,参照・ツーケンの自己蒸留に置き換え,参照・コンディショニングされた自己の自己の経路に沿って次点の分布を調整し,参照語の再生成よりもユーザの嗜好を内包し,また,情報的参照トークンを選択的に監督する集中型プラグインであるMIRROR-Fを導入し,ユーザ固有の表現を維持しながらコンテンツ生成を強化する。 3つのパーソナライズされた生成ベンチマーク、2つのモデルスケール、および補完的な参照ベースおよびLCMベースの評価、MIRRORとMIRROR-Fは、全体的なパーソナライズ性能と優れたテキスト品質を達成する一方で、3つのパーソナライズされた生成タスクに対するSFTベースのベースラインよりも破滅的な忘れ込みは少ない。 LLMパーソナライズタスクのパフォーマンス向上に対応するため、モデルスケールとアプリケーションシナリオ間でゲインは一貫しています。

関連論文リスト

• Listen to the Latents: Self-Correcting Speech Recognition in Large Audio Language Models Through Hidden-State Interactions [120.64235456332916]
  音声認識システムは、その意味的知識を活用するために、大規模言語モデル(LLM)を統合している。 我々は, 暖房適応型LLMベースASRモデルを改良し, 自己の適応型LLMを応用した。 本稿では,2つの観測を動機とした目標補正戦略であるハイブリッド検索を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:46:48Z)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
  ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。 現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。 ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
  論文  参考訳（メタデータ） (2025-12-17T14:28:23Z)
• Reflective Personalization Optimization: A Post-hoc Rewriting Framework for Black-Box Large Language Models [16.152962349146275]
  本稿では、コンテンツ生成をアライメントから切り離してパーソナライズパラダイムを再定義するフレームワークであるリフレクティブパーソナライズ最適化(RPO)を提案する。 RPOは2つの異なる段階で動作する: まず、ベースモデルが高品質で汎用的な応答を生成し、その後、外部反射モジュールがこの出力を明示的に書き直してユーザの好みに合わせる。 LaMPベンチマークの総合的な実験により、RPOはパーソナライゼーションからコンテンツ生成を分離することで、最先端のベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-11-07T14:48:49Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Self-Consistency of the Internal Reward Models Improves Self-Rewarding Language Models [63.116041268654705]
  同じ大言語モデル内の異なる内部報酬モデルが、しばしば矛盾した嗜好を生じさせることがわかった。 この矛盾は、自己生成の嗜好データの信頼性への懸念を高め、全体的なアライメントパフォーマンスを阻害し、さらなる研究の必要性を強調する。 トレーニング中に内部報酬モデル間の整合性を高めるための新しいフレームワークである自己一貫性内部報酬(SCIR)を提案する。
  論文  参考訳（メタデータ） (2025-02-13T03:15:31Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。