論文の概要: LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing

• arxiv url: http://arxiv.org/abs/2608.08889v1
• Date: Sun, 09 Aug 2026 20:02:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.988173
• Title: LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing
• Title（参考訳）: 主観的課題に対するLLM推論:障害モード、緩和、動的推論ルーティング
• Abstract要約: 明示的推論が主観的で人間中心の産業ごみに一般化するか否かを考察する。 検証精度が0.38マクロF1に近いのは, 採用した推論ペルソナにのみ依存することを示す。 この作業は、スケーラブルなアルゴリズムパッチと、推論モデルと現実の主観的制約を整合させる長期的なアーキテクチャの青写真の両方を提供する。
• 参考スコア（独自算出の注目度）: 7.632217365130212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommendation systems thrive on personalization, where ''correctness'' is rarely a binary truth but a matter of subjective human preference. As Large Language Models (LLMs) are deployed as autonomous verifiers of safety and quality guidelines, they face a distinctive challenge: context-aware preference alignment. Recent gains in Reinforcement Learning with Verifiable Rewards (RLVR) are indexed mostly on objective, mathematical tasks. Through a large-scale study spanning both proprietary and open-source models on four real-world verification tasks from a production recommender platform, we ask whether explicit reasoning generalizes to subjective, human-centric industry rubrics. We expose a fundamental vulnerability: rigid, math-centric reasoning traces actively degrade verification, and applying standard RLVR triggers a phenomenon we term reasoning collapse, in which the policy abandons deliberation in favor of rapid heuristic guessing. We introduce a conditional length-penalized post-training algorithm that intertwines verification accuracy with bounded reasoning length, halting collapse and recovering performance. Finally, we show that a reasoning trace's efficacy is tightly coupled with its socio-linguistic framing: across 1500 synthesized personas, verification accuracy swings by nearly 0.38 macro-F1 depending solely on the adopted reasoning persona---evidence that much subjective-verification error is really reasoning-style mismatch. This observation motivates a mid-training architecture that routes reasoning through contextually aligned personas. This work offers both a scalable algorithmic patch and a long-term architectural blueprint for aligning reasoning models with real-world subjective constraints.
• Abstract（参考訳）: 勧告システムは「正しい」が二元的真理ではなく主観的人間の嗜好の問題であるパーソナライズに長けている。 大きな言語モデル(LLM)は、安全性と品質ガイドラインの自律検証としてデプロイされるため、コンテキスト対応の優先順位調整という、特有の課題に直面します。 RLVR(Reinforcement Learning with Verifiable Rewards)の最近の進歩は、主に客観的な数学的タスクに基づいて索引付けされている。 プロダクションレコメンデータプラットフォームから4つの実世界の検証タスクに関する,プロプライエタリモデルとオープンソースモデルの両方を対象とする大規模な研究を通じて,明示的な推論が主観的,人間中心の産業ゴミに一般化するかどうかを問う。 厳密で数学中心の推論トレースが積極的に検証を劣化させ、標準のRLVRを適用すると、推論崩壊と呼ばれる現象が引き起こされる。 本研究では,条件付き長値化後トレーニングアルゴリズムを導入し,検証精度を有界推論長と連動させ,破壊を停止させ,性能を回復させる。 最後に, 1500の合成ペルソナにおいて, 検証精度は0.38マクロF1に近く変化し, 主観的検証誤差が本当に推論スタイルのミスマッチであることを示す。 この観察は、文脈に整合したペルソナを推論する中級学習アーキテクチャを動機付けている。 この作業は、スケーラブルなアルゴリズムパッチと、推論モデルと現実の主観的制約を整合させる長期的なアーキテクチャの青写真の両方を提供する。

関連論文リスト

• AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
  マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。 モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。 本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
  論文  参考訳（メタデータ） (2026-08-24T11:25:04Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Self-Refining Vision Language Model for Robotic Failure Detection and Reasoning [16.274791437311602]
  本稿では,ロボット故障検出と推論のための適応ラウンドベースマルチタスクmOdelについて紹介する。 マルチタスク・セルフリファインメント・プロセスとして検出と推論を定式化する。 ARMORは,従来の手法を最大30%の故障検出率で改善し,最先端の性能を実現していることを示す。
  論文  参考訳（メタデータ） (2026-02-12T20:55:36Z)
• ALIVE: Awakening LLM Reasoning via Adversarial Learning and Instructive Verbal Evaluation [4.265094703231012]
  ハンズフリーアライメントフレームワークである textbfALIVE (emphAdrial Learning with Instructive Verbal Evaluation) を導入する。 対人学習とインストラクティブな言語フィードバックを結合することにより、ALIVEはモデルが生のコーパスから直接評価基準を内在化できるようにする。 同一のデータと計算により、ALIVEはクロスドメインの一般化を著しく改善し、自己補正率も向上した。
  論文  参考訳（メタデータ） (2026-02-05T09:20:23Z)
• APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
  テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。 我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。 本稿では,Anchor-based Process Reward (APR)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T14:53:20Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
  自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。 アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。 モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
  論文  参考訳（メタデータ） (2025-11-20T13:10:52Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Aligning Deep Implicit Preferences by Learning to Reason Defensively [22.548051297731416]
  優先推論のギャップを埋めるために,批判駆動推論アライメント(CDRA)を提案する。 CDRAはスカラー報酬マッチングタスクから構造化推論プロセスにアライメントを再構成する。 実験により、CDRAは、堅牢な推論を実行しながら、ユーザの真の嗜好を発見し、整合するのに優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-13T09:26:47Z)
• Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models [0.0]
  RLM(Reasoning Language Models)は、複雑な多段階推論タスクを実行する能力によって注目を集めている。 これらの能力は信頼性の向上を約束するが、社会的バイアスに対する堅牢性への影響はまだ不明だ。 我々は, CLEAR-Bias ベンチマークを用いて, RLM のバイアス誘発に対する対角的ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:01:53Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。