Fugu-MT 論文翻訳(概要): A Geometric Perspective on Stabilizing Value Conflict Resolution

論文の概要: A Geometric Perspective on Stabilizing Value Conflict Resolution

arxiv url: http://arxiv.org/abs/2607.17946v1
Date: Mon, 20 Jul 2026 13:46:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-21 18:48:37.642269
Title: A Geometric Perspective on Stabilizing Value Conflict Resolution
Title（参考訳）: 価値衝突解決のための幾何学的視点
Abstract要約: チェーン・オブ・ソート(CoT)推論がこの領域のパフォーマンス向上にどのように役立つかを示します。我々は、損失ランドスケープの最も鋭い方向をさらに円滑にする、新しい価値コンフリクトにフォーカスしたCoT設計を作成します。この発見は、推論力学の設計を明示的に修正し改善することが、モデル性能を改善するための有望な道であることを示している。
参考スコア（独自算出の注目度）: 3.3111994330259136
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) often struggle to navigate value conflicts when trained with the compressed scalar rewards of Reinforcement Learning from Human Feedback (RLHF). To address this challenge, we investigate how chain-of-thought (CoT) reasoning can help improve performance in this domain. Geometrically, we show that CoT correlates with further smoothing the model's loss landscape in its sharpest direction, helping resolve the optimization instability of traditional scalar rewards. We also demonstrate via relevant downstream benchmarks that value conflict-focused CoT may generalize to different kinds of moral reasoning, demonstrating that this CoT has the potential to be an effective mechanism for better moral reasoning. To capitalize on this potential, we create a new value conflict-focused CoT design that further smooths the sharpest direction of the loss landscape and increases moral reasoning performance. This finding shows that explicitly modifying and improving the design of reasoning dynamics offers a promising avenue for improving model performance on user requests with complex value conflicts, advancing pluralistic alignment in LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ヒューマンフィードバック(RLHF)からの強化学習(Reinforcement Learning)の圧縮スカラー報酬でトレーニングされた場合、価値の衝突をナビゲートするのに苦労することが多い。この課題に対処するために、我々は、この領域におけるパフォーマンス向上にどのように役立つか、チェーン・オブ・シント(CoT)推論について検討する。幾何学的には、CoTはモデルの損失景観を最も鋭い方向により滑らかにすることで相関し、従来のスカラー報酬の最適化不安定性を解決する。また、関連する下流ベンチマークを通じて、紛争に焦点を当てたCoTが様々な道徳的推論に一般化し、このCoTがより良い道徳的推論のための効果的なメカニズムとなる可能性を実証する。この可能性を活かすために、我々は、損失景観の最も鋭い方向をさらに円滑にし、道徳的推論性能を高める、新しい価値コンフリクトに焦点を当てたCoT設計を作成します。この発見は、推論力学の設計を明示的に修正し改善することが、複雑な値衝突を伴うユーザ要求に対するモデル性能を改善するための有望な方法であり、LLMにおける多元的アライメントを前進させることを示している。

関連論文リスト

Interpretable and Fair Generalized Additive Neural Networks via Multi-objective Learning [52.66717986145448]
理解可能性と公正性は、信頼できる人工知能(AI)において最も強調される2つの次元の1つである本稿では,ニューラルネットワーク(NN)に基づく自己解釈可能なモデルであるGAM(Generalized Additive Model)に焦点を当てる。
論文参考訳（メタデータ） (2026-09-05T07:29:42Z)
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs [15.301640007799735]
単純な、制御されたテキストの摂動(キャプションや不正確なチェーン・オブ・シント(CoT)のトレース)は、堅牢性と信頼性が著しく低下していることを示している。これらの脆弱性をよりよく理解するために、我々はRL微調整力学を分析し、精度と信頼のトレードオフを明らかにする。
論文参考訳（メタデータ） (2026-02-13T01:12:00Z)
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
論文参考訳（メタデータ） (2026-02-11T08:14:11Z)
Reward Modeling for Reinforcement Learning-Based LLM Reasoning: Design, Challenges, and Evaluation [46.38008143057758]
大きな言語モデル(LLM)は変革の可能性を示しているが、その推論は矛盾し、信頼できないままである。この研究は、報酬モデリングは単なる実装の詳細ではなく、推論アライメントの中心的なアーキテクトであると主張している。本枠組みでは,報奨機構の分類,報奨ハッキングを広範にわたる障害モードとして分析し,報奨が課題を統一する方法について検討する。
論文参考訳（メタデータ） (2026-02-10T00:45:24Z)
Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文参考訳（メタデータ） (2025-10-27T23:10:06Z)
AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文参考訳（メタデータ） (2025-09-29T04:27:23Z)
Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
論文参考訳（メタデータ） (2025-09-20T17:09:14Z)
LTA-thinker: Latent Thought-Augmented Training Framework for Large Language Models on Complex Reasoning [9.466019851698725]
大規模言語モデルの複雑な推論は、テスト時間スケーリング(TTS)を使用して動的に最適化し、オーバーライドを緩和することができる。本稿では,分散分散を改善し,2つの観点から推論性能を向上させる潜在思考強化学習フレームワーク--LTA-Thinkerを提案する。
論文参考訳（メタデータ） (2025-09-16T09:27:57Z)
Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment [30.605500809158986]
本稿では,因果関係を緩和するために因果関係を統合した因果報酬モデリング手法を提案する。提案手法は様々な種類のスプリアス相関を効果的に緩和し,LLMと人間の嗜好との整合性を高めた。
論文参考訳（メタデータ） (2025-01-16T16:00:37Z)
Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
論文参考訳（メタデータ） (2024-10-08T05:26:28Z)
Towards Robust Recommendation via Decision Boundary-aware Graph Contrastive Learning [25.514007761856632]
グラフコントラスト学習(GCL)は、データ間隔によるバイアスの低減効果により、レコメンデータシステムにおいて注目を集めている。これらの手法は, 動的学習過程における意味的不変性と難易度とのバランスをとるのに苦慮していると論じる。本稿では,モデル能力の進化に伴い,コントラッシブペアのセマンティック不変性を効果的に維持し,動的に適応する新しいGCLベースのレコメンデーションフレームワークRGCLを提案する。
論文参考訳（メタデータ） (2024-07-14T13:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。