論文の概要: Learning What to Keep: Transfer-Aware Personal Skill Learning from User Feedback

• arxiv url: http://arxiv.org/abs/2610.19380v1
• Date: Wed, 14 Oct 2026 01:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.882794
• Title: Learning What to Keep: Transfer-Aware Personal Skill Learning from User Feedback
• Title（参考訳）: 何を守るかを学ぶ: ユーザのフィードバックから個人スキルを学ぶ
• Abstract要約: ユーザフィードバックから再利用可能なパーソナライズされたスキルを学習するためのフレームワークであるSkillGrainを提案する。 SkillGrainは、フィードバックを独立して実行可能なルールに分解し、転送可能性を予測する。 我々はSkillGrainが競合するメソッドの中で最高の全体的な平均性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 34.488307477209844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User feedback enables LLMs to refine reusable personalized skills, but often mixes persistent preferences with request-specific corrections. Indiscriminately retaining both risks negative transfer, motivating selective retention at the level of individual requirements. We frame this challenge as selective transfer over atomic rules and propose SkillGrain, a framework for learning reusable personalized skills from user feedback. SkillGrain decomposes feedback into independently actionable rules, predicts their transferability, and retains only those suitable for future requests. To learn these decisions, we combine rubric-guided skill rewards with fine-grained credit assignment that separately evaluates rule content and retention decisions. We further jointly optimize skill induction and skill-conditioned generation through reinforcement learning, ensuring that learned skills support downstream personalization. We construct a benchmark spanning five personalized writing tasks to evaluate cross-request generalization. Experiments across three base models in both in-domain and out-of-domain settings show that SkillGrain achieves the best overall average performance among competing methods.
• Abstract（参考訳）: ユーザからのフィードバックにより、LLMは再利用可能なパーソナライズされたスキルを洗練できるが、永続的な好みとリクエスト固有の修正を混在させることが多い。 リスクの負の移譲を無差別に保持し、個々の要求のレベルで選択的な保持を動機付ける。 我々は、この課題を原子規則の選択的移行として捉え、ユーザフィードバックから再利用可能なパーソナライズされたスキルを学ぶためのフレームワークであるSkillGrainを提案する。 SkillGrainは、フィードバックを独立して実行可能なルールに分解し、転送可能性を予測する。 これらの決定を学習するために、ルール内容と保持決定を別々に評価する、ルーリック誘導型スキル報酬と、きめ細かいクレジット割り当てを組み合わせる。 我々はさらに、強化学習によるスキル誘導とスキル条件生成を共同で最適化し、学習スキルが下流のパーソナライゼーションを支援することを保証する。 クロスリクエストの一般化を評価するために、5つのパーソナライズされた書き込みタスクにまたがるベンチマークを構築した。 ドメイン内設定とドメイン外設定の両方で3つのベースモデルで実験した結果、SkillGrainは競合するメソッドで最高の全体的な平均パフォーマンスを達成している。

関連論文リスト

• SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection [48.173384811583844]
  エージェント強化学習(RL)により、大規模言語モデルでは、検証可能な結果とのマルチターン相互作用から学習することができる。 SkillScaffoldは、低コストのスキルユーティリティ推定と選択的スキルインジェクションを組み合わせた、ポリシー適応型トレーニングスキャフォールドである。 ALFWorld、WebShop、ScienceWorld、および2ドルのBenchの実験は、強力なエージェントRLとスキルベースのRLベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2026-10-13T17:46:25Z)
• COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation [3.7175331524277233]
  ユーザフィードバックの少ない実世界のインタラクション設定に適した,新しい最適化フレームワークであるCOPEを提案する。 本フレームワークは、各ユーザに対して学習可能なパーソナライズド埋め込みを割り当て、好みのキャプチャ、自己評価のキャリブレーション、パーソナライズドレスポンスの最適化を単一の更新ステップで統合する。 実験では、COPEはスパースフィードバックの下で、強いトレーニングフリーとトレーニングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-09-22T12:23:22Z)
• AUSO: Action-Level Unified Skill Optimization from Internalization to Utilization [23.057686255420546]
  AUSOは、プログレッシブでアクション対応の最適化プロセスを通じて、スキル学習とスキル利用を実現する。 AUSOはトレーニングの開始時に、教師の指導と環境結果から共同で学習する。 政策が成熟するにつれて、AUSOはスキル条件とスキルフリーの両方の状況下で各サンプルアクションを評価する。
  論文  参考訳（メタデータ） (2026-08-21T16:53:27Z)
• Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
  既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。 プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T17:55:55Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• Skill-Based Reinforcement Learning with Intrinsic Reward Matching [77.34726150561087]
  Intrinsic Reward Matching (IRM) を提案する。 IRMにより、従来のスキル選択方法よりもはるかに効果的に事前訓練されたスキルを活用できる。
  論文  参考訳（メタデータ） (2022-10-14T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。