論文の概要: LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability

• arxiv url: http://arxiv.org/abs/2605.31167v1
• Date: Fri, 29 May 2026 11:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.567931
• Title: LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability
• Title（参考訳）: LLM-FACETS: LLMの透明性と説明責任を評価するためのプライバシー保護フレームワーク
• Abstract要約: LLMFACETS (LLM FActuality Cross-EvaluaTion System):ブラウザにアクセスできるインターフェースとプラグインアーキテクチャを備えたオープンソースフレームワーク。 プラグインアーキテクチャにより、評価パイプラインを変更することなく、新しいメトリックデータセットを統合することができる。 我々は、標準参照ライブラリに対する18のメトリック実装の相互検証を通じて、このフレームワークを検証する。
• 参考スコア（独自算出の注目度）: 0.937536571362766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing whether Large Language Models outputs are factually grounded, epistemically calibrated, and methodologically reproducible is a prerequisite for responsible AI deployment. Yet auditing LLMs remains inaccessible to non-technical practitioners: existing tools require programming expertise and non-trivial environment setup, and cloud-hosted platforms transmit evaluation data to external services, creating barriers for domain experts and compliance officers legally responsible for AI oversight. We introduce LLM-FACETS (LLM FActuality Cross-EvaluaTion System): an open-source framework with a browser-accessible interface and a plugin architecture, structured around three practitioner profiles (technical experts, domain experts, compliance officers) that mirror the stakeholder categories identified in the EU AI Act and the NIST AI Risk Management Framework. The architecture makes data flows explicit: deterministic metrics (BLEU, ROUGE, BERTScore) run entirely within the self-hosted server with no outbound transmission; LLM-judge metrics contact external APIs explicitly, with users retaining full credential control. The framework operationalizes transparency through three mechanisms: token-level log-probability visualization for epistemic uncertainty, multi-judge consensus to mitigate judge bias, and RAG Triad metrics (Faithfulness, Answer Relevance, Context Relevance) to detect and localize hallucinations. A plugin architecture allows any new metric or dataset to be integrated without modifying the evaluation pipeline. The open-source implementation enables cross-checking across multiple metrics targeting the same property, ensuring reproducibility and decoupling AI accountability from the teams building the systems assessed. We verify the framework through cross-validation of 18 metric implementations against canonical reference libraries.
• Abstract（参考訳）: 大規模言語モデルのアウトプットが事実的に根拠付けられ、認識的校正され、方法論的に再現可能であるかどうかを評価することは、AIデプロイメントの責任を負うための前提条件である。 既存のツールは、プログラミングの専門知識と非自明な環境設定を必要とし、クラウドでホストされているプラットフォームは、評価データを外部サービスに送信し、ドメインの専門家やコンプライアンス担当者がAIの監督に法的に責任を負うための障壁を作成します。 LLM-FACETS (LLM FActuality Cross-EvaluaTion System): ブラウザアクセス可能なインターフェースとプラグインアーキテクチャを備えたオープンソースのフレームワークで、EU AI ActとNIST AI Risk Management Frameworkで特定されたステークホルダーカテゴリを反映した3つの実践者プロファイル(技術専門家、ドメインエキスパート、コンプライアンスオフィサー)で構成されています。 決定論的メトリクス(BLEU、ROUGE、BERTScore)は、アウトバウンドトランスミッションのないセルフホストサーバ内で完全に実行される。 このフレームワークは、3つのメカニズムを通じて透明性を運用する: てんかんの不確実性に対するトークンレベルの対数確率の可視化、判断バイアスを緩和するためのマルチジャッジコンセンサス、幻覚の検出とローカライズのためのRAGトライアドメトリクス(Faithfulness, Answer Relevance, Context Relevance)である。 プラグインアーキテクチャにより、評価パイプラインを変更することなく、新しいメトリックやデータセットを統合することができる。 オープンソース実装は、同じプロパティをターゲットにした複数のメトリクスの相互チェックを可能にし、再現性を確保し、評価されたシステムを構築するチームからAI説明責任を分離する。 我々は、標準参照ライブラリに対する18のメトリック実装の相互検証を通じて、このフレームワークを検証する。

関連論文リスト

• RAIL: An Automatic Classifier of the Artificial Intelligence Readiness Level [0.0]
  人工知能技術の成熟度を評価することは、投資決定、プロジェクト管理、政策監視に不可欠である。 利用可能な準備性フレームワークは異種であり、自動的に適用するのは難しい。 まず、これらの3つのフレームワークを、環境証拠のはしごの上に構築された9レベルのスケールである、統一AI準備レベル(AIRL)に統合する。 第2に,このスケールを運用するパネル・オブ・エキスパートの分類器であるRAILを提案する。
  論文  参考訳（メタデータ） (2026-08-13T16:17:41Z)
• AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities [55.23913617185508]
  Agentは、LLM(Large Language Models)ベースのエージェントを評価するための、オープンソース、軽量、インフラストラクチャである。 Benchmark、Harness、Environmentという3つの独立したコンポーネントに関する評価プロセスを編成する。 フォールトトレラントなランタイムと、報酬ハックのような障害モードを透過的に診断する包括的なトラジェクトリ分析ツールを備えている。
  論文  参考訳（メタデータ） (2026-07-15T11:11:17Z)
• From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents [69.07911499189129]
  エージェントのメタ認知判断(Knowing)を自発的実行(Acting)から切り離して認知行動アライメントを評価するフレームワークであるKAPROを紹介する。 実験の結果,自己認識能力はタスク成功と強く相関するが,内部能力設定では著しく低下することがわかった。 プロプライエタリで推論指向のモデルは、より信頼性の高い認知ゲーティングを示します。
  論文  参考訳（メタデータ） (2026-06-09T17:17:08Z)
• VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora [24.484384823423216]
  既存のベンチマークでは、情報ノイズを考慮せず、複数ソースの事実矛盾を無視し、論理的計画に視覚的認識を根ざす必要性を見落としている。 エージェントの堅牢性と信頼性の増大に対応するために設計された検証可能なベンチマークであるVeriTripを紹介する。
  論文  参考訳（メタデータ） (2026-05-27T16:14:47Z)
• Chain-of-Authorization: Internalizing Authorization into Large Language Models via Reasoning Trajectories [21.063230721511726]
  Chain-of-Authorization (CoA)フレームワークは、認証ロジックを大規模言語モデルのコア機能に内部化する。 CoAはポリシー実行とタスク応答を統合し、承認を実体的応答の因果的前提とする。
  論文  参考訳（メタデータ） (2026-03-24T07:13:01Z)
• Why Does the LLM Stop Computing: An Empirical Study of User-Reported Failures in Open-Source LLMs [50.075587392477935]
  オープンソースのDeepSeek、Llama、Qwenのエコシステムから、705の現実世界の失敗に関する大規模な実証的研究を行った。 ホワイトボックスオーケストレーションは、モデルアルゴリズムの欠陥からデプロイメントスタックのシステム的脆弱性へと、信頼性のボトルネックを移動させます。
  論文  参考訳（メタデータ） (2026-01-20T06:42:56Z)
• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
  我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。 WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。 詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
  論文  参考訳（メタデータ） (2025-10-21T12:16:04Z)
• Context-Aware Visual Prompting: Automating Geospatial Web Dashboards with Large Language Models and Agent Self-Validation for Decision Support [1.506501956463029]
  リスク分析と意思決定のためのWebベースのダッシュボードの開発は、大きな多次元データの難しさに悩まされることが多い。 ユーザ定義入力からインタラクティブな地理空間ダッシュボードの作成を自動化する生成AIフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-10-10T10:58:15Z)
• Transparent, Evaluable, and Accessible Data Agents: A Proof-of-Concept Framework [0.0]
  本稿では、AIエージェントの開発と評価のためのモジュール型コンポーネントベースのアーキテクチャについて述べる。 このシステムは、技術的でないユーザが複雑なデータウェアハウスと対話できるようにすることによって、データアクセシビリティにおける中核的な課題に対処する。 設計の要点は、多層推論フレームワークを通じて達成される透明な意思決定へのコミットメントである。
  論文  参考訳（メタデータ） (2025-09-28T23:54:41Z)
• Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
  大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。 その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。 本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
  論文  参考訳（メタデータ） (2025-08-28T13:00:28Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• HADA: Human-AI Agent Decision Alignment Architecture [0.0]
  HADAはプロトコルとフレームワークのリファレンスアーキテクチャであり、大きな言語モデル(LLM)エージェントとレガシーアルゴリズムの両方を組織的目標と値に一致させる。 技術的および非技術的アクターは、戦略的、戦術的、リアルタイムな地平線を越えて、あらゆる決定をクエリ、ステア、監査、または競合することができる。
  論文  参考訳（メタデータ） (2025-06-01T14:04:52Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。