論文の概要: Calibrating LLM Explanations to Human Decisions with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.17306v1
• Date: Mon, 12 Oct 2026 18:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:21:32.31952
• Title: Calibrating LLM Explanations to Human Decisions with Reinforcement Learning
• Title（参考訳）: 強化学習によるLLM説明の人間決定への校正
• Abstract要約: 人間の意思決定のための説明を最適化するための強化学習フレームワークである textbfHD-RL を紹介する。 提案手法では,人間の意思決定をシミュレーションし,LLMを最適化するための代行報酬モデルを適用して,適切な判断を下すための説明を生成する。 オープンソースのQwen 3.6 モデルに HD-RL フレームワークを適用し,人的性能を改善するための最適化された説明を生成する。
• 参考スコア（独自算出の注目度）: 22.425946991313875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explanations of LLM outputs are considered an important way to make model behavior legible, helping human users make good decisions on downstream tasks. However, default training approaches for improving explanations target model task performance or human preference rather than human decision quality. To bridge this gap, we introduce \textbf{HD-RL}, a reinforcement learning framework for optimizing LLM explanations for human decision making. Our approach calibrates a human decision simulator on observed human decisions, applying a proxy reward model to optimize the LLM to generate explanations that help people to make good decisions. We apply this framework to AI-generated text detection. In our initial data collection phase, we observed that while LLMs possess strong autonomous detection capabilities, the explanations they generate for users yield near-random human accuracy (51.3\%). By applying the HD-RL framework to the open-source Qwen 3.6 model, we generate optimized explanations that improve human performance, achieving a GLMM-estimated human accuracy of 63.7\% in a randomized between-subjects experiment with repeated measures and outperforming RLVR, RLAIF, and other baselines by over 8\%.
• Abstract（参考訳）: LLMのアウトプットの説明は、人間のユーザが下流のタスクで良い判断を下すのを助けるために、モデル動作を正当にするための重要な方法と考えられている。 しかし、デフォルトのトレーニングアプローチは、人間の意思決定品質よりも、モデルタスクのパフォーマンスや人間の嗜好を目標とする説明を改善する。 このギャップを埋めるために,人間の意思決定にLLMの説明を最適化するための強化学習フレームワークである「textbf{HD-RL}」を導入する。 提案手法では,人間の意思決定をシミュレーションし,LLMを最適化するための代行報酬モデルを適用して,適切な判断を下すための説明を生成する。 この枠組みをAIによるテキスト検出に適用する。 最初のデータ収集フェーズでは、LSMは強力な自律検知能力を持っているが、ユーザが生成する説明は、ほぼランダムな人間の精度(51.3\%)が得られる。 オープンソースのQwen 3.6 モデルに HD-RL フレームワークを適用することで、GLMM で推定された人的精度を63.7 % のランダム化実験で達成し、RLVR や RLAIF などのベースラインを 8 % 以上上回る精度で向上させる。

関連論文リスト

• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning [11.31665596884142]
  人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデルの出力と人間の嗜好を整合させる重要な手法として登場した。 既存のRLHFアルゴリズムの多くはBradley-Terryモデルを使用しており、これは人間の好みに関する仮定に依存しており、現実世界の判断の複雑さや変動性を反映していない。 そこで我々は,そのような報酬モデルの不特定条件下での既存手法の性能向上のための頑健なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-03T16:16:35Z)
• Maximizing Signal in Human-Model Preference Alignment [0.0]
  本稿では、エンドユーザーがMLモデルによる決定に同意する必要がある場合、モデルが好みを表すデータに基づいて訓練され、評価されるべきである、と論じる。 評価手法のベストプラクティスに固執することで,ラベル付け不一致のノイズを最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-03-06T19:10:57Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。