論文の概要: LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks

• arxiv url: http://arxiv.org/abs/2605.27375v1
• Date: Wed, 08 Apr 2026 09:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.501226
• Title: LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks
• Title（参考訳）: LCO: LLMに基づく実環境におけるエージェントLLMの制約最適化
• Abstract要約: 大規模言語モデル(LLM)は、自律的なエージェントとしての役割がますます高まっているが、環境との継続的な相互作用は、コンテキスト内報酬ハッキング(ICRH)につながる可能性がある。 ICRHは敵の入力からではなく、モデル自体の過度な最適化から生じるため、既存の防御手法はこのリスクに対処するには不十分である。 モデル微調整なしでICRHを効果的に削減するフレームワークであるtextbfLLM ベースの制約最適化 (LCO) を提案する。
• 参考スコア（独自算出の注目度）: 18.09670665247215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly acting as autonomous agents, but their continuous interaction with the environment can lead to in-context reward hacking (ICRH), a phenomenon where LLMs iteratively optimize their behavior to maximize proxy objectives, inadvertently producing harmful side effects. Existing defense methods are insufficient to address this risk, as ICRH arises not from adversarial inputs but from the model's own over-optimization. To mitigate this issue, we propose \textbf{LLM-based Constraint Optimization (LCO)}, a framework that effectively reduces ICRH without model fine-tuning. LCO consists of two modules: \textit{self-thought module}, which guides the LLM to proactively deliberate and integrate potential safety constraints before execution; and \textit{evolutionary sampling module}, which employs LLM-based crossover and mutation to constrain the model's actions within a safe solution space while maintaining task performance. Experimental results demonstrate that LCO substantially alleviates ICRH in both output-refine and policy-refine scenarios. In particular, on the tweet engagement optimization task, LCO achieves a 39% reduction in the Toxicity Growth Rate (TGR) on GPT-4, while on the policy optimization benchmark, it reduces the ICRH Occurrence Rate by 15.23%, demonstrating safety improvement without sacrificing task performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ますます自律的なエージェントとしての役割を担っているが、環境との継続的な相互作用は、LLMの振る舞いを反復的に最適化し、プロキシの目的を最大化し、有害な副作用を必然的に生み出す現象であるICRH(In-context reward Hacking)につながる可能性がある。 ICRHは敵の入力からではなく、モデル自体の過度な最適化から生じるため、既存の防御手法はこのリスクに対処するには不十分である。 この問題を軽減するために,モデル微調整なしでICRHを効果的に削減するフレームワークであるtextbf{LLM-based Constraint Optimization (LCO)を提案する。 LCOは2つのモジュールから構成される: \textit{self- Thought module} は LLM を積極的に誘導し、実行前に潜在的な安全制約を積極的に誘導し統合する。 実験結果から, LCO は ICRH を大幅に緩和することが示された。 特に、ツイートエンゲージメント最適化タスクでは、LCOはGPT-4上での毒性成長率(TGR)を39%削減し、ポリシ最適化ベンチマークでは、ICRH発生率を15.23%削減し、タスク性能を犠牲にすることなく安全性の向上を示す。

関連論文リスト

• An Efficient and Modular Framework for Targeted Harm Mitigation in LLMS [3.37470725921294]
  大規模言語モデル(LLM)は強力なゼロショット学習者であるが、人間の好みに反する傾向にある。 アクティベートされたLoRAアダプタとコンテキスト対応のルーティング機構により,事前学習したLLMを拡張可能なモジュール補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-12T00:24:49Z)
• ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。 本研究では,この不安定性の重要源である過最適化について検討する。 我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
  論文  参考訳（メタデータ） (2026-07-11T21:22:46Z)
• Aligning Language Models with Selective Prediction [17.07077522375248]
  大規模言語モデル(LLM)は、高精細な現実世界のAIシステムにおける重要な意思決定コンポーネントとして、ますます多くデプロイされている。 本稿では,選択的予測(SP)によるLCMの信頼性向上に焦点をあてる。 本稿では,リスクカバレッジ曲線(AURC)に基づく領域をアライメント対象とする,新たなアライメントフレームワークであるReinforcement Learning for Selection Reward(RLSR)を提案する。
  論文  参考訳（メタデータ） (2026-07-03T17:59:02Z)
• FASE: Fast Adaptive Semantic Entropy for Code Quality [0.28647133890966986]
  本稿では,FASE(Fast Adaptive Semantic Entropy)について紹介する。 HumanEvalとBigCodeBenchの評価は、FASEがLLMエンテーメントにより最先端のセマンティックエントロピーより優れていることを示している。 FASEは計算オーバーヘッドを無視し、従来のセマンティックエントロピーアプローチのランタイムコストの約0.3%しか必要としない。
  論文  参考訳（メタデータ） (2026-06-08T17:53:05Z)
• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
  提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。 実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
  論文  参考訳（メタデータ） (2026-04-30T17:59:52Z)
• dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
  拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。 本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。 我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-19T11:55:52Z)
• Hard Constraints Meet Soft Generation: Guaranteed Feasibility for LLM-based Combinatorial Optimization [14.17648636921649]
  3つの重要なイノベーションを通じて100%実現可能なフレームワークであるFALCONを紹介します。 FALCONは、最先端のニューラルおよびLLMベースの解決器のソリューション品質をマッチングまたは超過しながら、完全な実現性を達成する。
  論文  参考訳（メタデータ） (2026-02-01T08:09:06Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• CAMEL: Continuous Action Masking Enabled by Large Language Models for Reinforcement Learning [3.602902292270654]
  連続行動空間における強化学習(RL)は、非効率な探索や準最適解への収束のような永続的な課題に遭遇する。 我々は,LLM生成した準最適ポリシーをRLトレーニングパイプラインに統合する新しいフレームワークであるCAMELを提案する。
  論文  参考訳（メタデータ） (2025-02-17T15:22:19Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Tiny Refinements Elicit Resilience: Toward Efficient Prefix-Model Against LLM Red-Teaming [37.32997502058661]
  本稿では,数個のトークンで入力プロンプトを再構築するプラグイン・アンド・プレイプレフィックスモジュールとしてtextbfsentinel モデルを提案する。 センチネルモデルは、微調整された大きなターゲットモデルに対するテキストパラメータ非効率性とテキスト制限モデルアクセシビリティを自然に克服する。 テキスト・ツー・テキスト・ツー・イメージを用いた実験により,有害な出力を緩和する手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-05-21T08:57:44Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。