論文の概要: Understanding Generalization in Role-Playing Models via Information Theory

• arxiv url: http://arxiv.org/abs/2512.17270v1
• Date: Fri, 19 Dec 2025 06:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.26813
• Title: Understanding Generalization in Role-Playing Models via Information Theory
• Title（参考訳）: 情報理論によるロールプレイングモデルの一般化理解
• Authors: Yongqi Li, Hao Lang, Fei Huang, Tieyun Qian, Yongbin Li,
• Abstract要約: 本稿では,RPMの性能劣化を測定するために,情報理論の指標である推論に基づく有効相互情報差(R-EMID)を導入する。 また,ユーザ,キャラクタ,対話コンテキスト間の接続を適応的にモデル化する共進化型強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 78.78610491091096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Role-playing models (RPMs) are widely used in real-world applications but underperform when deployed in the wild. This degradation can be attributed to distribution shifts, including user, character, and dialogue compositional shifts. Existing methods like LLM-as-a-judge fall short in providing a fine-grained diagnosis of how these shifts affect RPM generalization, and thus there lack formal frameworks to characterize RPM generalization behaviors. To bridge these gaps, we introduce an information-theoretic metric, named reasoning-based effective mutual information difference (R-EMID), to measure RPM performance degradation in an interpretable way. We also derive an upper bound on R-EMID to predict the worst-case generalization performance of RPMs and theoretically reveal how various shifts contribute to the RPM performance degradation. Moreover, we propose a co-evolving reinforcement learning framework to adaptively model the connection among user, character, and dialogue context and thus enhance the estimation of dialogue response generation probability, which is critical for calculating R-EMID. Finally, we evaluate the generalization performance of various RPMs using R-EMID, finding that user shift poses the highest risk among all shifts and reinforcement learning is the most effective approach for enhancing RPM generalization.
• Abstract（参考訳）: ロールプレイングモデル(RPM)は、現実世界のアプリケーションで広く使われているが、野生にデプロイすると性能が低下する。 この劣化は、ユーザ、キャラクタ、および対話構成シフトを含む分散シフトに起因する可能性がある。 LLM-as-a-judgeのような既存の手法は、これらのシフトがRPMの一般化にどのように影響するかを詳細に診断するに足りず、したがってRPMの一般化挙動を特徴づける形式的な枠組みが欠如している。 これらのギャップを埋めるために、RPMの性能劣化を解釈可能な方法で測定するために、推論に基づく効果的な相互情報差(R-EMID)という情報理論メトリクスを導入する。 また、R-EMID上の上限を導出し、RPMの最悪の場合の一般化性能を予測し、様々なシフトがRPMの性能劣化にどのように寄与するかを理論的に明らかにする。 さらに、ユーザ、キャラクタ、対話コンテキスト間の接続を適応的にモデル化し、R-EMIDを計算する上で重要な対話応答生成確率を推定する、協調進化型強化学習フレームワークを提案する。 最後に, R-EMID を用いた様々な RPM の一般化性能を評価し, ユーザシフトが最もリスクが高いこと, 強化学習が RPM の一般化向上に最も有効なアプローチであることを確かめた。

関連論文リスト

• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent [6.300669721057781]
  メタ・ポリシィ・リフレクション(Meta-Policy Reflexion, MPR)は、LCM生成したリフレクションを構造化された述語型メタ・ポリシィ・メモリ(MPM)に集約するフレームワークである。 MPRはモデルウェイト更新なしで再利用可能な修正知識を外部化し、安全でないアクションや無効なアクションを減らすためにドメイン制約を強制し、言語ベースのリフレクションの適応性を維持する。 供給材料に報告された実証結果は, 反射ベースラインと比較して, 実行精度とロバスト性が一貫した向上を示し, 規則許容性は安定性をさらに向上させる。
  論文  参考訳（メタデータ） (2025-09-04T08:18:39Z)
• Out-of-distribution robustness for multivariate analysis via causal regularisation [4.487663958743944]
  本稿では,分散シフトに対するロバスト性を確保するために,因果性に根ざした正規化戦略を提案する。 アンカー回帰フレームワークに基づいて、古典アルゴリズムの損失関数に単純な正規化項を組み込む方法を示す。 本フレームワークでは,損失関数と正規化戦略との整合性を効率よく検証することができる。
  論文  参考訳（メタデータ） (2024-03-04T09:21:10Z)
• ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
  本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。 本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
  論文  参考訳（メタデータ） (2023-04-13T08:52:34Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Multi-Label Contrastive Learning for Abstract Visual Reasoning [0.0]
  Ravenのプログレッシブマトリクスを解く最先端のシステムは、大量のパターンベースのトレーニングとデータセットのバイアスを利用する。 人間は、解決すべきRPM(または一般的には視覚的推論タスク)の根底にあるルールや概念の識別に集中する。 本稿では,新しいトレーニングアルゴリズムに加えて,最先端性能に寄与する重要な要因であるRPMのスパースルール符号化方式を提案する。
  論文  参考訳（メタデータ） (2020-12-03T14:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。