論文の概要: Risk-Conditioned Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.08064v1
• Date: Tue, 08 Sep 2026 00:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.53638
• Title: Risk-Conditioned Fine-Tuning of Large Language Models
• Title（参考訳）: リスク条件付き大規模言語モデルの微調整
• Authors: Zixuan Liu, Fangzheng Wu, Brian Summa, Zizhan zheng,
• Abstract要約: リスク条件付きRLHFは,継続的なリスク制御インターフェースを提供する単一のポリシをトレーニングするフレームワークである。 複数のベンチマークの実験では、単一のリスク条件付きポリシーが推論時に異なるリスクレベルに適応できることが示されている。
• 参考スコア（独自算出の注目度）: 7.332941410825274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in settings where rare but severe harmful generations can have significant consequences. Existing Risk-Averse RLHF addresses this issue by optimizing Conditional Value-at-Risk (CVaR), but it trains policies for fixed risk levels and therefore cannot adjust the desired degree of risk aversion at inference time. In this paper, we propose risk-conditioned RLHF, a framework that trains a single policy that provides a continuous risk-control interface, enabling users to select different degrees of risk aversion without retraining or deploying multiple risk-specific models. Experiments across multiple benchmarks demonstrate that a single risk-conditioned policy can adapt to different risk levels at inference time, enabling more flexible and risk-aware LLM deployment.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、稀だが深刻な有害な世代が重大な結果をもたらすような環境で、ますます多くデプロイされている。 既存のリスク・アバースRLHFは、条件付きバリュー・アット・リスク(CVaR)を最適化することでこの問題に対処するが、一定のリスクレベルに対するポリシーを訓練するので、推論時に所望のリスク回避度を調整することはできない。 本稿では,リスク条件付きRLHFを提案する。リスク条件付きRLHFは,連続的なリスク制御インターフェースを提供する単一ポリシをトレーニングするフレームワークで,複数のリスク固有モデルの再トレーニングやデプロイを行うことなく,さまざまなリスク回避度を選択することができる。 複数のベンチマークの実験では、単一のリスク条件のポリシが推論時に異なるリスクレベルに適応できることが示されており、より柔軟でリスク対応のLSMデプロイメントを可能にしている。

関連論文リスト

• Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
  本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。 RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。 実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-12-30T14:38:02Z)
• Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning [4.8342038441006805]
  静的スペクトルリスク対策(SRM)の最適化のための新しい枠組みを提案する。 我々のアルゴリズムは、さまざまなドメインにわたるオンラインとオフラインの両方の環境において、既存のリスクに敏感な手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-05T04:41:54Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
  本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。 RiskQは広範な実験によって有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-03T07:18:36Z)
• DRL-ORA: Distributional Reinforcement Learning with Online Risk Adaption [9.191326295161725]
  オンラインリスク適応型分散RL(DRL-ORA)を提案する。 このフレームワークは、既存のリスク適応アプローチを統一し、より良い説明可能性と柔軟性を提供する。 DRL-ORAは、複数のタスクのクラスにおいて、固定リスクレベルや手動で設計したリスクレベル適応に依存する既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-08T14:32:23Z)
• Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures [10.221369785560785]
  本稿では,マルコフ決定過程(MDP)における報酬列の動的リスクを最大化する問題について考察する。 予測と条件付きリスクリスク(CVaR)の凸結合を特別な一段階の条件付きリスク尺度として用いて、我々は、リスク回避型MDPを、強化されたアクション空間を持つリスク中立型として再構成し、即時報酬の操作を行う。 本研究は,リスク・アバース・セッティングが分散を低減し,その結果のロバスト性を高めることを示唆するものである。
  論文  参考訳（メタデータ） (2023-01-14T21:43:18Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。