論文の概要: Rolling With Resistance: Preference-Optimized LLM Counselors Can Trade Goal Persistence for Relational Attunement in Motivational Interviewing
- arxiv url: http://arxiv.org/abs/2607.28814v1
- Date: Thu, 30 Jul 2026 20:16:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.476218
- Title: Rolling With Resistance: Preference-Optimized LLM Counselors Can Trade Goal Persistence for Relational Attunement in Motivational Interviewing
- Title（参考訳）: 抵抗による転がり: 選好最適化LDMカウンセラーは、モチベーション面接におけるリレーショナルアテンションのためのゴールパーシスタンスを取引できる
- Abstract要約: モチベーション・インタヴュー(MI)では、クライアントの持続的なトーク(現状に関する議論)が、カウンセラーに抵抗を伴って展開するよう呼びかけるが、これは2つの方法で失敗する可能性がある。
モチベーション型面接処理統合 (MITI) コード, ゴールパーシスタンス (GP) およびアテンション (RA) のカウンセラー応答の2軸評価を導入する。
優先最適化によって1つの障害を罰することは、転がり抵抗の反作用を引き起こすかどうかを問う。
- 参考スコア（独自算出の注目度）: 0.6372261626436676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Motivational Interviewing (MI), a client's sustain talk (arguments for the status quo) calls for the counselor to roll with resistance, a move that can fail in two opposite ways: capitulation (abandoning the change agenda to preserve rapport) or confrontation (arguing or directing, overriding the client's autonomy). We introduce a two-axis evaluation of counselor responses, anchored in the Motivational Interviewing Treatment Integrity (MITI) code, Goal Persistence (GP) and Relational Attunement (RA), yielding a four-quadrant framing in which rolling with resistance is high on both, and we ask whether penalizing one failure through preference optimization teaches rolling with resistance or provokes its opposite. From the expert-annotated AnnoMI corpus we build topic-disjoint Direct Preference Optimization data whose preference sets differ only in which failure is rejected, using on-policy negatives. An automatic judge, validated against AnnoMI's expert labels and rechecked by trained human coders, scores blind pairwise win-rates against each base under a firewall in which disjoint model families generate, label, and judge. Across three aligned instruction models spanning the Qwen and Llama families, penalizing confrontation reliably lowers goal persistence below parity, on every base and in every seed run, a robust cost, whereas the attunement gain is base-dependent, present on two of the three bases but absent on the third. Penalizing capitulation is inert, because these models rarely capitulate on-policy, so the trade is gated by each base's failure profile. A prompt-only control raises attunement without the goal-persistence cost, locating the cost in the optimization rather than in attunement itself.
- Abstract（参考訳）: モチベーション・インタヴュー(MI)では、クライアントの持続的な講演(現状に関する議論)では、カウンセラーが抵抗をロールアウトするよう要求する。
我々は,2軸のカウンセラー応答の評価を,モチベーション・インタビュー処理統合(MITI)コード,ゴールパーシステンス(GP)コード,リレーショナル・アテンション(RA)コードに固定して導入し,両面においてローリングが高い4つのクワッドラント・フレーミングを与える。
専門家がアノテートしたAnnoMIコーパスから、オン・ポリティック・ネガティブ(英語版)を用いて、障害が拒否される場合にのみ、優先セットが異なるトピック非結合なダイレクト・プライオリティ・オプティマイゼーション・データを構築する。
自動判断は、AnnoMIのエキスパートラベルに対して検証され、訓練された人間のコーダーによって再検査され、相反するモデルファミリーが生成し、ラベルし、審査するファイアウォールの下で、各ベースに対して盲対の勝利率をスコアする。
QwenファミリーとLlamaファミリーにまたがる3つのアライメント・インストラクション・モデルにおいて、対決のペナルティ化は、すべてのベースとすべてのシードランにおいて、目標持続性をパリティ以下に確実に低下させ、ロバストなコストを伴い、一方、アトゥンメントゲインはベース依存であり、3つのベースのうち2つに存在するが、3番目のベースには存在しない。
なぜなら、これらのモデルが政治的に降伏することは滅多にないからであり、その取引は各基地の失敗プロファイルによって促進されるからである。
プロンプトのみの制御は、目標パースペンスコストを伴わずにアタンメントを上昇させ、アタンメント自体よりも最適化のコストを判断する。
関連論文リスト
- The Chase Is the Curriculum, the Capture Anchors the Credit: Pursuit-Evasion Self-Play for Zero-Data LLM Reasoning [6.195031716121927]
LUREでは、LLMエバーダが各環境の難易度軸に沿ってタスクを配置し、検証可能な相互作用を通じてタスクを追尾する追尾者の一歩先にとどまる。
追従者は、共進化を安定に維持するラウンドアンコールKLの下で、単調検証器の進行が終端捕捉と共同でグループ正規化される捕捉アンコール密プロセスクレジットを得る。
論文 参考訳（メタデータ） (2026-08-22T09:30:29Z) - An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning [0.0]
未学習は2つの目的により評価される: 目標固有の知識を抑え、非目標ユーティリティを保存する。
ターゲットに隣接したプロンプトが、ターゲット固有のリークを伴わずに、より広い回答を認めた場合、モデルは、リーク、回避、拒否よりも、そのレベルで答えるべきである。
我々は,SFTウォームアップの有無にかかわらず,語彙抑制,反拒絶型シェーピング,ルーリックベース広義回答,明示的拒絶コントラストの4つの報奨設計を比較した。
論文 参考訳（メタデータ） (2026-08-18T14:04:29Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization [31.547614109943158]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルにおける長鎖推論の強力なパラダイムとして登場した。
提案手法は,最終回答に対する思考軌跡の情報量を測定するシーケンスレベル信号と,重要な決定トークンにおける確実な予測を円滑化させるトークンレベル指向報酬とを組み合わせ,ISPO(Intrinsic Signal Policy Optimization)を提案する。
ISPOは競争ベースラインを一貫して上回り、ゼロアドバンテージ崩壊が最も頻繁なベンチマークで最大の利益を上げ、トレーニング力学診断では両方の障害モードが減少していることを確認した。
論文 参考訳（メタデータ） (2026-06-07T20:08:36Z) - Support Vector Rubrics: Closing the Gap Between Self-Generated and Human Rubrics [33.21526869949403]
SVR(Support Vectors)は,好みデータに対する最大境界学習としてルーリックをリキャストするフレームワークである。
SVRは、嗜好対から銀行へ対照的な特徴をマイニングし、グローバルウェイトと共に、迅速な条件付きセレクタを学習し、サポートペアの選択とハードネガティブの逆探索を通じて、銀行を反復的に洗練する。
ベンチでは、SVRは24.1点から0.3点までの人間の参照とのギャップを狭め、強い自己資本主義を上回り、学習した銀行は再訓練せずに審査員間で移動する。
論文 参考訳（メタデータ） (2026-06-06T09:55:22Z) - Dual Optimal: Make Your LLM Peer-like with Dignity [35.58723842086038]
現在のアライメント言語モデルは、Evasive Servantと呼ばれる二重障害モードを示す。
我々は,抗梅毒と信頼性の両面からサーボネスに対処するDignified Peerフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T14:48:44Z) - In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。
InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。
その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
論文 参考訳（メタデータ） (2025-11-13T01:47:06Z) - Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-09-28T16:33:07Z) - REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
応答の個体群に対する適応的・意味的最適化問題を提案する。
我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
論文 参考訳（メタデータ） (2025-02-24T15:34:48Z) - Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
推論(Reasoning)とは、証拠を使って結論に達する認知過程である。
近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。
テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
論文 参考訳（メタデータ） (2023-09-05T11:32:48Z) - Alternating Objectives Generates Stronger PGD-Based Adversarial Attacks [78.2700757742992]
Projected Gradient Descent (PGD) は、そのような敵を生成するための最も効果的で概念的にシンプルなアルゴリズムの1つである。
この主張を合成データの例で実験的に検証し、提案手法を25の$ell_infty$-robustモデルと3つのデータセットで評価した。
私たちの最強の敵攻撃は、AutoAttackアンサンブルのすべてのホワイトボックスコンポーネントより優れています。
論文 参考訳（メタデータ） (2022-12-15T17:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。