論文の概要: RAIL Guard: Closing the Evaluation-to-Remediation Gap in Responsible AI for LLM Agents

• arxiv url: http://arxiv.org/abs/2607.16215v1
• Date: Thu, 28 May 2026 21:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.037121
• Title: RAIL Guard: Closing the Evaluation-to-Remediation Gap in Responsible AI for LLM Agents
• Title（参考訳）: RAILガード: LLMエージェントの責任AIにおける評価対修正ギャップの閉鎖
• Abstract要約: RAIL GuardはクローズドループによるAIパイプラインである。 繰り返し出力をアセスメント・リライト・リ評価ループで更新する。 SystemはオープンソースSDKとして利用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing guardrail systems for large language model agents operate as binary classifiers that block unsafe content, leaving organizations to discard failing outputs and retry from scratch. We introduce RAIL Guard, a closed-loop responsible AI pipeline that evaluates LLM outputs across eight measurable dimensions and iteratively remediates failing outputs through an evaluate-rewrite-reevaluate loop. We evaluate the pipeline across three experiments on four frontier LLMs and 4,276 content outputs plus 6,400 agent tool-call scenarios. Closed-loop remediation achieves 96.9% convergence versus 49.1% for block-and-retry, though the highest-convergence method reduces utility by 22.3%; feedback-driven self-repair achieves 86.6% convergence on fixable dimensions with no significant utility loss (p = 0.177). Pre-tool-call evaluation reduces unsafe agent executions by 33% (p = 0.007) with zero impact on task completion. We identify a key distinction between fixable dimensions that respond to remediation and structural dimensions (Transparency at 93.0%, Accountability at 92.8%, and Inclusivity at 82.5% failure) that require architectural rather than algorithmic solutions. The system is available as open-source SDKs.
• Abstract（参考訳）: 既存の大規模言語モデルエージェントのガードレールシステムは、安全でないコンテンツをブロックするバイナリ分類器として機能し、組織は失敗するアウトプットを破棄し、ゼロからリトライする。 RAIL Guardは、8次元にわたるLCM出力を評価し、評価-リライト-再評価ループを通じてフェールアウトプットを反復的に更新するクローズドループ型AIパイプラインである。 4つのフロンティアLCMと4,276のコンテンツ出力と6,400のエージェントツールコールシナリオによるパイプラインの評価を行った。 閉ループ修復はブロック・アンド・リトライにおいて96.9%の収束を達成するが、最も高い収束法はユーティリティを22.3%削減する。 Pre-tool-call評価は、タスク完了に影響を与えずに、安全でないエージェントの実行を33%削減する(p = 0.007)。 修復に応答する固定可能な次元と構造次元(透明性は93.0%、説明責任は92.8%、インクルーシティは82.5%の失敗)を区別する。 このシステムはオープンソースのSDKとして利用できる。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• AgentDV: Closed-Loop Agentic AI for Hardware Design Verification [1.5477055061671623]
  AgentDVは、自動RTL検証環境生成のためのクローズドループエージェントAIフレームワークである。 単発LLMテストベンチ生成をツール地上検証パイプラインに変換する。 AgentDVは4つのDUTで100%パスレートを達成し、Claude Sonnet 4.6を使用してすべてのDUTで平均80.9%パスレートを達成している。
  論文  参考訳（メタデータ） (2026-08-27T14:00:16Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• GoGoTB: Agentic RTL Verification with Specification-Grounded Coverage Closure [14.71922402654502]
  GoGoTBは、エンドツーエンドの検証クロージャを実現するエージェントフレームワークである。 8つのレジスタ転送レベル(RTL)の設計で、人間の介入なしにテストされる。
  論文  参考訳（メタデータ） (2026-07-28T18:40:35Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration [3.9458538778648964]
  本稿では,このバリアを除去するためのツールとして,リフレクションストリームを再現する低ランクなウェイト編集である,消音の予備的研究を行う。 脆弱性判定は3つのツール検出アンサンブル(QLCode、Sem、Bandit)と手動で行う。
  論文  参考訳（メタデータ） (2026-06-03T20:06:52Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• 2.5-D Decomposition for LLM-Based Spatial Construction [0.0]
  大規模言語モデル(LLM)は、3次元ブロック配置を生成する際に体系的な座標誤差を発生させる。 本稿では,emph2.5-D分解に基づくニューロシンボリックパイプラインを提案する。 決定論的エグゼキュータは、カラム占有から全ての垂直配置を計算し、エラーのクラス全体を除去する。
  論文  参考訳（メタデータ） (2026-05-08T00:17:33Z)
• AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
  AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである 宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。 80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
  論文  参考訳（メタデータ） (2026-05-06T08:12:09Z)
• Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
  Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。 Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。 本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:56:30Z)
• Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
  運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。 評価ループにtextbfsolver を配置するベンチマークを2つ導入する。 ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
  論文  参考訳（メタデータ） (2026-01-28T20:02:44Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。