論文の概要: Aligning Language Models with Selective Prediction

• arxiv url: http://arxiv.org/abs/2607.03528v1
• Date: Fri, 03 Jul 2026 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.642252
• Title: Aligning Language Models with Selective Prediction
• Title（参考訳）: 選択予測による言語モデルの調整
• Authors: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun,
• Abstract要約: 大規模言語モデル(LLM)は、高精細な現実世界のAIシステムにおける重要な意思決定コンポーネントとして、ますます多くデプロイされている。 本稿では,選択的予測(SP)によるLCMの信頼性向上に焦点をあてる。 本稿では,リスクカバレッジ曲線(AURC)に基づく領域をアライメント対象とする,新たなアライメントフレームワークであるReinforcement Learning for Selection Reward(RLSR)を提案する。
• 参考スコア（独自算出の注目度）: 17.07077522375248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed as critical decision-making components in high-stakes real-world AI systems, rendering LLM reliability a foremost practical concern. In this paper, we focus on enhancing LLM reliability through selective prediction (SP), a strategy that allows an LLM to only predict for inputs where it is likely to be correct (i.e., coverage) and hence reduce the error rate (i.e., risk) on that portion of inputs -- flagging the remaining inputs for future human discretion. In other words, SP improves LLM reliability by balancing the risk-coverage trade-off and enabling seamless human-AI collaboration. To integrate SP into LLMs, we focus on the LLM post-training alignment stage and propose to align LLMs with SP performance metrics, in contrast with existing LLM alignment methods that focus primarily on correctness or calibration metrics. Specifically, we propose a novel alignment framework, Reinforcement Learning for Selection Reward (RLSR), which targets the area under the risk-coverage curve (AURC) -- a popular SP performance metric -- as its alignment objective. RLSR achieves substantially better risk-coverage trade-off compared to multiple alignment baselines on both in-domain and out-of-domain tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高精細な実世界のAIシステムにおいて、重要な意思決定コンポーネントとしてますますデプロイされ、LLMの信頼性が最も現実的な懸念事項となっている。 本稿では、選択予測(SP)によるLCMの信頼性向上に焦点を当て、LCMが正しい可能性のある入力(すなわち、カバレッジ)のみを予測できるようにし、その結果、その入力部分におけるエラー率(すなわち、リスク)を減らし、将来の人間の判断のために残りの入力をフラグ付けする戦略について述べる。 言い換えれば、SPはリスクカバレッジトレードオフのバランスを保ち、シームレスな人間とAIのコラボレーションを可能にすることで、LCMの信頼性を向上させる。 本研究では,SP を LLM に組み込むために,LLM のトレーニング後のアライメントステージに着目し,SP のパフォーマンス指標と LLM のアライメントを一致させる手法を提案する。 具体的には、リスクカバレッジ曲線(AURC)に基づく領域をアライメントの目的として、新しいアライメントフレームワークであるReinforcement Learning for Selection Reward(RLSR)を提案する。 RLSRは、ドメイン内タスクとドメイン外タスクの両方における複数のアライメントベースラインと比較して、かなり優れたリスク・カバレッジトレードオフを実現する。

関連論文リスト

• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• LLM Performance Predictors: Learning When to Escalate in Hybrid Human-AI Moderation Systems [5.7001352660257005]
  本稿では,コンテンツモデレーションシステムにおける不確実性定量化の監視のためのフレームワークを提案する。 提案手法は,実世界のヒューマンAIにおいて,コストアウェアの選択的分類を可能にする。 この研究は、不確実性を認識し、スケーラブルで責任あるヒューマンAIモデレーションのための原則化されたフレームワークを確立する。
  論文  参考訳（メタデータ） (2026-01-11T17:46:49Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。