論文の概要: SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs

• arxiv url: http://arxiv.org/abs/2610.31062v1
• Date: Thu, 22 Oct 2026 10:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.321598
• Title: SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs
• Title（参考訳）: SCOPE:ニューロシンボリックな述語プログラムに自然言語ポリシーをコンパイルする
• Abstract要約: SCOPEを導入し、小さなモデルで実行されるニューラルエグゼキュータの実行可能なプログラムにポリシーをコンパイルする。 我々は,実世界の政策タスクのベンチマークでSCOPEを評価し,迅速な最適化,タスク分解,ワークフロー生成手法について検討した。 SCOPEはより安定した予測を生成し、各検証は生成した述語出力を通して解釈される。
• 参考スコア（独自算出の注目度）: 5.385661171501795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy enforcement for LLM agents has shifted from single-turn content moderation to compound, application-specific policies evaluated over multi-turn transcripts and tool-call trajectories. Fine-tuned guardrail models are efficient but degrade on compound policies, and while LLM-as-a-judge approaches achieve higher accuracy, they incur high inference cost and tend to produce unstable predictions. Neurosymbolic methods offer a natural alternative, decomposing the policy into narrow neural decisions composed under explicit logic. However, existing symbolic layers lack the required expressiveness and are optimized against fixed data rather than the policy itself. To address this, we introduce SCOPE, which compiles a policy into an executable program of neural predicates executed by small models, deterministic extractors, and code that composes their outputs. The program is optimized jointly with its training data, using adversarial generation of counterexamples that target where the program deviates from the policy. We evaluate SCOPE on a benchmark of real-world policy tasks against prompt optimization, task decomposition, and workflow generation methods, achieving the highest average accuracy across tasks and models. Programs optimized with the weakest executor transfer to other models without further optimization. This allows them to be deployed in production on inexpensive models, where they reach accuracy comparable to frontier reasoning models. Unlike these monolithic models, SCOPE produces substantially more stable predictions, and each verdict is interpretable through the predicate outputs that produced it. Additionally, we validate the key components of our method through an ablation study. SCOPE thus enables reliable, interpretable, and efficient policy enforcement at production scale.
• Abstract（参考訳）: LLMエージェントのポリシー強制は、シングルターンのコンテンツモデレーションから、マルチターンのトランスクリプトとツールコールのトラジェクトリで評価された複合的なアプリケーション固有のポリシーへと移行した。 LLM-as-a-judgeアプローチは高い精度を達成する一方で、高い推論コストを発生させ、不安定な予測をもたらす傾向にある。 ニューロシンボリック法(Neurosymbolic method)は、明確な論理の下で構成された狭い神経決定にポリシーを分解する自然な方法である。 しかし、既存のシンボリックレイヤは要求された表現力に欠けており、ポリシー自体よりも固定データに対して最適化されている。 これを解決するために、SCOPEは、小さなモデル、決定論的抽出器、出力を構成するコードによって実行される神経述語を実行可能なプログラムにコンパイルする。 プログラムはトレーニングデータと共同で最適化され、プログラムが方針から逸脱する場所をターゲットとした逆例の生成を使用する。 SCOPE を実世界の政策タスクのベンチマークで評価し,迅速な最適化,タスク分解,ワークフロー生成手法について検討し,タスクとモデル間の平均精度を最大化する。 プログラムは最適化せずに他のモデルに最も弱い実行子転送で最適化された。 これにより、より安価なモデルで本番環境にデプロイでき、フロンティア推論モデルに匹敵する精度に達する。 これらのモノリシックモデルとは異なり、SCOPEはより安定な予測を生成し、各検証はそれを生成した述語出力を通して解釈可能である。 さらに,アブレーション研究を通じて,本手法の重要成分を検証した。 これにより、SCOPEは生産規模での信頼性、解釈可能、効率的な政策執行を可能にする。

関連論文リスト

• Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling [11.745959825708214]
  強化学習(Reinforcement Learning, RL)は、ロバストなメタ-RLやドメインランダム化(Domain randomization, DR)など、適応的な意思決定に不可欠である。 この研究は2つの障害モードを形式化し、結果として生じる時間的バイアスを明らかにするラグリスク分解を導出し、コンテキスト内シーケンスモデリング問題としてリスク予測を再放送する。 実験により,本手法はより信頼性の高い難易度推定と,頑健なメタRL,DRをまたいだ一貫した性能向上を実現し,LLMのポストトレーニングを早急に実施する。
  論文  参考訳（メタデータ） (2026-10-10T13:35:02Z)
• Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies [0.28675177318965045]
  INSPOは、入力ノイズ空間における軌道最適化として、一段階生成ポリシーの推論時ステアリングを定式化する。 我々は,Push-T,Can pick-and-place,LIBERO-Spatialにまたがる,状態と画像に基づくタスク固有ポリシーと汎用的なビジョン言語対応ポリシーについて,INSPOを評価した。
  論文  参考訳（メタデータ） (2026-09-18T02:08:12Z)
• Large Discrete Policy: Advancing Explicit Behavior Modeling with Stochastic Iterative Scoring [77.17706435067372]
  大規模ポリシー(LDiP)は、物理的に妥当な候補の大きな語彙から行動を選択する、完全に独立した行動モデリングフレームワークである。 摂動作用ではなく、LDiPは反復的なスコアリングによって表現性を向上する。 エンド・ツー・エンドの計画、クローズドループ・ドライブ、ロボット操作、ビジョン・ランゲージ・アクション・セッティングを通じて、LDiPは強い離散的かつ連続的なベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-07T05:12:52Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Value-Free Policy Optimization via Reward Partitioning [0.08192907805418585]
  単軌道強化学習のための新しい手法であるReward Partitioning Optimization (RPO)を導入する。 RPOは、データから直接推定されるアプローチを使用して、観察された報酬を正規化する。 我々は,Flan-T5エンコーダデコーダモデルを用いて,スカラーフィードバック言語モデリングタスクにおけるRPOの有効性を検証する。
  論文  参考訳（メタデータ） (2025-06-16T17:06:27Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。