論文の概要: Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models
- arxiv url: http://arxiv.org/abs/2608.09109v1
- Date: Mon, 10 Aug 2026 04:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.079466
- Title: Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models
- Title(参考訳): 異なるフィードバック、異なるアップデート:大規模言語モデルのためのユーザインタラクションから選択的な自己学習
- Abstract要約: ユーザフィードバックのタスク相対的なビューに基づいて構築された選択型自己学習フレームワークであるSLIFTを紹介する。
SLIFTは、各フィードバックメッセージをアトミックなコンポーネントに分解し、元のタスクに対する各コンポーネントをFix、Spec、Nullとして解釈する。
バックボーン全体にわたって、SLIFTはMemoryBenchとWildFBの両方で強力なパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 38.21117017502317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User feedback offers natural supervision for persistent LLM improvement, but a single message may support multiple behavioral changes with different scopes of generalization. We introduce SLIFT, a selective self-learning framework built on a task-relative view of user feedback. SLIFT decomposes each feedback message into atomic components and interprets each component relative to the original task as Fix, Spec, or Null: requirements for task validity, compatible condition-specific refinements, or content with no reliable positive update direction. To incorporate each change at the appropriate scope, SLIFT trains two complementary LoRA adapters on a shared frozen backbone: a Generalist that consolidates Fix requirements into default behavior through feedback-conditioned self-distillation, and a Specialist that observes only the task and Generalist response to supply residual guidance for applicable, unmet Spec refinements. Null components induce no positive update. Across backbones, SLIFT achieves strong performance on both MemoryBench and WildFB, with targeted analyses further examining its underlying mechanisms. We release our code at https://anonymous.4open.science/r/SLIFT.
- Abstract(参考訳): ユーザからのフィードバックは、永続的なLLM改善のための自然な監視を提供するが、ひとつのメッセージは、一般化の異なるスコープで複数の振る舞いの変更をサポートする可能性がある。
ユーザフィードバックのタスク相対的なビューに基づいて構築された選択型自己学習フレームワークであるSLIFTを紹介する。
SLIFTは、各フィードバックメッセージをアトミックなコンポーネントに分解し、元のタスクに対する各コンポーネントをFix、Spec、Nullとして解釈する。
各変更を適切な範囲に組み込むため、SLIFTは、共有冷凍バックボーン上に2つの補完的なLoRAアダプタをトレーニングする。
Nullコンポーネントは前向きな更新を起こさない。
バックボーン全体にわたって、SLIFTはMemoryBenchとWildFBの両方で強力なパフォーマンスを達成しており、その基盤となるメカニズムをさらに調べている。
コードをhttps://anonymous.4open.science/r/SLIFTでリリースします。
関連論文リスト
- LLMs Get Lost in Evolving User Intent [31.460856308052872]
静的なシングルターンタスクを動的マルチターン会話に変換するフレームワークを導入する。
強い静的設定性能は進化するインテント・セッティングに移行しないことを示す。
今日のLLMは、ユーザの進化する意図を忠実に追跡し、実行していません。
論文 参考訳(メタデータ) (2026-07-22T21:14:44Z) - AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。
構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。
textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
論文 参考訳(メタデータ) (2026-07-17T07:51:03Z) - AgentSpec: Understanding Embodied Agent Scaffolds Through Controlled Composition [23.160500379113703]
我々は、再利用可能なポリシーコンポーネントの型付け構成としてエンボディされたエージェントを表現するモジュール仕様フレームワークであるAgentSpecを紹介した。
DeliveryBench、ALFRED、MiniGrid、RoboTHORでこのフレームワークをインスタンス化し、推論、メモリ、リフレクション、強化学習モジュールを分析します。
この結果から, エージェント性能は, 分離モジュール強度よりも, 足場との互換性と相互作用効果によって制御されていることがわかった。
論文 参考訳(メタデータ) (2026-06-12T17:39:49Z) - RAG-Reflect: Agentic Retrieval-Augmented Generation with Reflections for Comment-Driven Code Maintenance on Stack Overflow [0.5607590231264274]
本稿では,エージェントAIの原則がRAG-Reflectを提示することにより,ソフトウェアメンテナンスタスクに革命をもたらすことを示す。
RAG-Reflectは、タスク固有のトレーニングなしで有効なコメント編集予測のための微調整レベルのパフォーマンスを実現するモジュラーフレームワークである。
我々は、公開SOUPベンチマークでRAG-Reflectを評価し、精度が0.81、リコールが0.74、F1が0.78である。
論文 参考訳(メタデータ) (2026-04-24T04:49:58Z) - ASPECT:Analogical Semantic Policy Execution via Language Conditioned Transfer [10.492383929472734]
強化学習(RL)エージェントはしばしば、知識を新しいタスクに一般化するのに苦労する。
本稿では,離散潜在変数を自然言語条件に置き換え,より一般化したアプローチを提案する。
提案手法は, 固定圏写像の限界を超えて, 複雑な, 真に新しい類似タスクの広い範囲にわたるゼロショット転送を実現する。
論文 参考訳(メタデータ) (2026-04-09T15:21:05Z) - From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳(メタデータ) (2026-01-15T18:59:10Z) - Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。
CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。
次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
論文 参考訳(メタデータ) (2025-12-19T15:18:07Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability [21.96694731466089]
フィードバック機構を組み込んだ完全に自動化された命令追従ベンチマークであるMeeseeksを紹介した。
Meeseeksは、モデル応答における誤ったコンポーネントを特定し、対応するフィードバックを正確に提供することで、モデルを自己補正に向けて反復的に導く。
我々は、マクロレベルとインスタンスレベルの両方から包括的な分析を行い、現在の最先端モデルでよく見られる多くの共通問題を明らかにした。
論文 参考訳(メタデータ) (2025-04-30T13:28:19Z) - Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。
我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
論文 参考訳(メタデータ) (2024-12-26T12:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。