論文の概要: Carolina Guide: A Multi-Agent RAG System with Institutional Guardrails for Academic Policy Assistance

• arxiv url: http://arxiv.org/abs/2606.28360v1
• Date: Thu, 11 Jun 2026 20:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.597004
• Title: Carolina Guide: A Multi-Agent RAG System with Institutional Guardrails for Academic Policy Assistance
• Title（参考訳）: カロライナガイド:学術政策支援のための施設ガードレールを備えたマルチエージェントRAGシステム
• Abstract要約: 大規模言語モデル(LLM)は、自動支援を約束するが、幻覚への傾向と、制度的な制約を強制できない傾向は、ハイテイクガイダンスには適さない。 サウスカロライナ大学(USC)における学術政策支援システム「カロライナガイド」について紹介する。 このシステムは、安全でない要求を拒否しながら、学生の質問に対して引用支援されたポリシーに基づく回答を提供するために、制度的なガードレールを備えたモジュラーマルチエージェントパイプラインを使用している。
• 参考スコア（独自算出の注目度）: 7.505217332626521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: University students often struggle to navigate complex academic policies, leading to advising bottlenecks and delayed access to critical information. Although large language models (LLMs) offer promise for automated assistance, their tendency toward hallucination and inability to enforce institutional constraints make them unsuitable for high-stakes policy guidance without careful architectural design. We present Carolina Guide, a retrieval-augmented generation (RAG) system for academic policy assistance at the University of South Carolina (USC). The system employs a modular multi-agent pipeline with institutional guardrails to provide citation-supported, policy-grounded answers to student queries while refusing unsafe requests such as course recommendations or personalized advising. We evaluate the system on a 90 query test set across 6 departments, achieving 98.9% retrieval success at the >= 2 threshold (genuinely relevant results) with the first relevant chunk at rank-1 for 98.9% of queries (MRR at 10 for rel >= 2 = 0.989). Through systematic baseline comparisons and ablation studies, we show that each architectural component-MMR reranking, adequate retrieval context (k=20), and citation enforcement-contributes measurable practical value despite limited statistical power at 90 queries. The evaluation of the guardrail on 30 adversarial queries demonstrates Safety F1 of 0.89, correctly refusing 86% of unsafe queries while maintaining 93% coverage of benign queries. These results show that production-ready LLM systems for institutional policy guidance require rethinking standard RAG patterns to prioritize safety, transparency, and departmental autonomy over conversational sophistication.
• Abstract（参考訳）: 大学生は複雑な学術政策のナビゲートに苦しむことが多く、ボトルネックの助言や重要な情報へのアクセスの遅延につながる。 大規模言語モデル(LLM)は、自動支援を約束するが、幻覚や制度上の制約を強制できない傾向は、注意深いアーキテクチャ設計を伴わずに、高い評価の政策ガイダンスには適さない。 本稿では,サウスカロライナ大学(USC)における学術政策支援のための検索強化世代(RAG)システムであるカロライナガイドを紹介する。 このシステムでは、モジュール型のマルチエージェントパイプラインと機関のガードレールを使用して、学生の質問に対する引用支援とポリシーに基づく回答を提供すると同時に、コース推奨やパーソナライズされたアドバイスなどの安全でない要求を拒否する。 我々は6つの部門で90のクエリテストを行い、98.9%の検索成功を >=2 のしきい値で達成し、98.9% のクエリに対してランク-1 で最初の関連チャンク(rel >= 2 = 0.989 のMRR)を達成した。 系統的なベースライン比較とアブレーション研究により,90クエリの統計能力に制限があるにもかかわらず,各アーキテクチャコンポーネント-MMRのリグレード,適切な検索コンテキスト (k=20) ,および励磁強制が測定可能な実用価値に寄与することを示した。 30の敵クエリに対するガードレールの評価は、安全F1が0.89であることを示し、安全でないクエリの86%を正しく拒否し、良質なクエリの93%のカバレッジを維持している。 これらの結果から, 安全, 透明性, 部門別自律性を優先するために, 標準的なRAGパターンを再考する必要があることが示唆された。

関連論文リスト

• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education [1.2999518604217852]
  ジェネレーティブAI(GenAI)は、プログラミングの説明、デバッグ、代入サポートに学生によってますます利用されている。 本稿では,提案プログラムのための安全な検索強化世代(RAG)学習フレームワークであるEduGuardについて述べる。 EduGuardは、クエリ理解、インストラクターが承認したコース検索、教育戦略選択、ルーリック・アウェア生成、クレームレベルの検証、オーバー信頼制御を統合している。
  論文  参考訳（メタデータ） (2026-07-17T08:18:18Z)
• Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense [0.0]
  企業文書の大量生成には、財務紛争の物語、コンプライアンス通知、監査要約が含まれる。 統一されたガードレール層の前に、プロダクションシステムはしばしば別々のPIIリアクション、コンテンツモデレーション、フォーマット検証ステップを縫い合わせていた。 本稿では,テキストと画像入力のためのガードレールオーケストレーションレイヤを提案する。
  論文  参考訳（メタデータ） (2026-06-01T00:24:30Z)
• SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
  RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。 しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。 我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:29:11Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Attentive Reasoning Queries: A Systematic Method for Optimizing Instruction-Following in Large Language Models [0.0]
  本稿では,新しい構造化推論手法であるAttentive Reasoning Queries (ARQs)を提案する。 ARQは、ドメイン特化推論ブループリントを通じて、大規模言語モデルにおける命令追跡を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-05T17:03:48Z)
• Knowledge Retrieval Based on Generative AI [4.9328530417790954]
  本研究は,中国語ウィキペディアとLawbankを検索源として用いたRAG(Retrieval-Augmented Generation)に基づく質問応答システムを開発した。 このシステムは,BGE-M3を用いて高関係な検索結果を検索し,BGE-rerankerを用いてクエリの関連性に基づいてそれらの検索結果を並べ替える。
  論文  参考訳（メタデータ） (2025-01-08T17:29:46Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。