論文の概要: Benchmarking Identity-Sensitive LLM Outputs for Surveillance and Security Robots
- arxiv url: http://arxiv.org/abs/2608.16030v1
- Date: Mon, 17 Aug 2026 02:51:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.508059
- Title: Benchmarking Identity-Sensitive LLM Outputs for Surveillance and Security Robots
- Title（参考訳）: 監視・セキュリティロボットのための同一性感性LLM出力のベンチマーク
- Abstract要約: 本稿では,識別条件付きプロンプトが,監視ロボットとセキュリティロボットの設計記述に体系的な違いをもたらすかどうかを評価する。
その結果, 即時条件, 設計寸法, 人口密度の可読性に有意な差が認められた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly used to generate textual robot design specifications, interaction policies, and risk assessments during early-stage robot development. Such outputs may influence how surveillance and security robots are conceptualized, documented, and ultimately implemented. This paper evaluates whether identity-conditioned prompts produce systematic differences in LLM-generated surveillance and security robot design descriptions. Using 236 demographic identity labels across single-label and model-augmented prompt conditions, we analyze readability as an initial benchmark for evaluating accessibility and identity-conditioned variation in generated robot design descriptions. The results show significant differences in readability across prompt conditions, design dimensions, and demographic identities. Although readability cannot determine whether an output is fair or socially appropriate, it provides an interpretable baseline within a broader benchmarking framework that also includes lexical, semantic, sentiment, syntactic, and fairness-focused analyses.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、早期ロボット開発において、テキスト型ロボット設計仕様、インタラクションポリシー、リスクアセスメントを生成するために、ますます利用されている。
このようなアウトプットは、監視ロボットとセキュリティロボットの概念化、文書化、最終的に実装方法に影響を与える可能性がある。
本稿では, LLM生成監視ロボットとセキュリティロボットの設計記述において, 同一条件のプロンプトが系統的差異をもたらすか否かを評価する。
単一ラベルおよびモデル拡張プロンプト条件における236の人口識別ラベルを用いて、生成したロボット設計記述におけるアクセシビリティとアイデンティティ条件の変動を評価するための初期ベンチマークとして可読性を分析した。
その結果, 即時条件, 設計寸法, 人口密度の可読性に有意な差が認められた。
可読性はアウトプットが公正であるか社会的に適切かを決定することはできないが、より広範なベンチマークフレームワーク内には、語彙、意味、感情、構文、公正に焦点を当てた分析を含む解釈可能なベースラインを提供する。
関連論文リスト
- Why did My Robot Just Change Personality? Prompting Guidelines for a Grounded Robot Persona in LLM-Based HRI [11.36847822681712]
大規模言語モデル(LLM)は、社会ロボットにおける言語相互作用にますます用いられる。
しかし、人間-ロボット相互作用(HRI)の素早い設計は未定のままである。
本稿では,LLMをベースとしたロボットにおいて,迅速な設計を行うためのフレームワークを開発する。
論文 参考訳（メタデータ） (2026-08-21T07:14:56Z) - Extracting Semantics: LLM-Guided Automatic Population of Robot Ontology from URDF [0.0]
認知ロボティクスでは、説明可能な推論を可能にするために意味的に豊かな表現が必要である。
本稿では,セマンティック抽象化の自動生成のための予備的アプローチを提案する。
本稿では,複数のロボット記述に対するアプローチを評価し,その抽象化について議論する。
論文 参考訳（メタデータ） (2026-06-10T08:08:37Z) - A Practice Auditing Framework for Large Language Model Use: Collective Empiricism, Pseudo-Rational Cognition, and Governance of AI-Generated Content [9.414394075880033]
本稿では,LLM利用とAI生成コンテンツガバナンスのための実践監査フレームワークを提案する。
本稿は,AIの主観的錯覚,入力材料における主観的構造,AI-AI会話におけるテンプレートループ,AIGC検出における統計的誤判断,生成したコンテンツが将来的なコンテキストに入る際のメモリ汚染を解析する。
論文 参考訳（メタデータ） (2026-06-02T00:46:47Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - REBAR: Reference Ethical Benchmark for Autonomy Readiness [7.074395078077516]
本稿では,自律システムのための定量的テストおよび評価フレームワークであるReference Ethical Benchmark for Autonomy Readiness (REBAR)を紹介する。
REBARは、運用メトリクスを、倫理的パフォーマンスを定量化できる計算可能な自律性レベル(ARL)にマッピングする。
このフレームワークの主な革新は、シナリオの倫理的困難を計算し、説明するための、ニューロシンボリックな大規模言語モデル(LLM)アプローチである。
論文 参考訳（メタデータ） (2026-05-18T13:56:19Z) - Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations) [0.0]
この論文では、生成モデルの説明可能性のための統一的なフレームワークであるgSMILEを紹介している。
gSMILEはテキスト入力の制御された摂動、ワッサーシュタイン距離測定、重み付き代理モデリングを採用している。
頑丈で人間に順応した属性を生成し、最先端のジェネレーティブモデルで効果的に一般化する。
論文 参考訳（メタデータ） (2026-02-01T12:54:51Z) - WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。
WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。
詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
論文 参考訳（メタデータ） (2025-10-21T12:16:04Z) - Inductive Learning of Robot Task Knowledge from Raw Data and Online Expert Feedback [3.10979520014442]
ロボットの自律性の向上は、特に人間とロボットの相互作用シナリオにおいて、信頼と社会的受容の課題を引き起こす。
これはロボット認知能力の解釈可能な実装を必要としており、おそらくはタスク仕様の定義のための論理としての形式的手法に基づいている。
本稿では,タスク仕様を抽出するノイズの多い例から,帰納的論理プログラミングに基づくオフラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-13T17:25:46Z) - PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。
さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。
プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文 参考訳（メタデータ） (2024-01-26T18:12:25Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。