論文の概要: Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning

• arxiv url: http://arxiv.org/abs/2510.00881v1
• Date: Wed, 01 Oct 2025 13:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.581029
• Title: Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning
• Title（参考訳）: SEにおける自動倫理プロファイルの強化:LDM推論のゼロショット評価
• Authors: Patrizio Migliarini, Mashal Afzal Memon, Marco Autili, Paola Inverardi,
• Abstract要約: 大規模言語モデル(LLM)は、コード合成を超えて拡張されたタスクのためのソフトウェア工学(SE)ツールにますます統合されています。 ゼロショット設定で16LLMの倫理的推論能力を評価するための完全に自動化されたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.389448546196977
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly integrated into software engineering (SE) tools for tasks that extend beyond code synthesis, including judgment under uncertainty and reasoning in ethically significant contexts. We present a fully automated framework for assessing ethical reasoning capabilities across 16 LLMs in a zero-shot setting, using 30 real-world ethically charged scenarios. Each model is prompted to identify the most applicable ethical theory to an action, assess its moral acceptability, and explain the reasoning behind their choice. Responses are compared against expert ethicists' choices using inter-model agreement metrics. Our results show that LLMs achieve an average Theory Consistency Rate (TCR) of 73.3% and Binary Agreement Rate (BAR) on moral acceptability of 86.7%, with interpretable divergences concentrated in ethically ambiguous cases. A qualitative analysis of free-text explanations reveals strong conceptual convergence across models despite surface-level lexical diversity. These findings support the potential viability of LLMs as ethical inference engines within SE pipelines, enabling scalable, auditable, and adaptive integration of user-aligned ethical reasoning. Our focus is the Ethical Interpreter component of a broader profiling pipeline: we evaluate whether current LLMs exhibit sufficient interpretive stability and theory-consistent reasoning to support automated profiling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、倫理的に重要な文脈における不確実性に基づく判断や推論を含む、コード合成を超えたタスクのためのソフトウェア工学(SE)ツールにますます統合されている。 ゼロショット設定で16LLMの倫理的推論能力を評価するための,30の現実的な倫理的推論シナリオを用いて,完全に自動化されたフレームワークを提案する。 各モデルは、行動に最も適用可能な倫理理論を特定し、その道徳的受容性を評価し、その選択の背後にある理由を説明するよう促される。 モデル間合意の指標を用いて、専門家の倫理主義者の選択に対して反応が比較される。 以上の結果から,LLM は道徳的受容率 86.7% で平均理論整合率 73.3% と 2次合意率 (BAR) を達成し,倫理的曖昧なケースでは解釈可能な相違が集中していることがわかった。 自由文の説明の質的な分析は、表面レベルの語彙の多様性に拘わらず、モデル間で強い概念収束を示す。 これらの知見は、SEパイプライン内の倫理推論エンジンとしてのLLMの潜在可能性を支持し、スケーラブルで監査可能で適応的なユーザ整合性推論の統合を可能にする。 我々の焦点は、より広範なプロファイリングパイプラインの倫理的解釈要素であり、我々は、現在のLLMが、自動プロファイリングをサポートするのに十分な解釈安定性と理論に一貫性のある推論を示すかどうかを評価する。

関連論文リスト

• Mirror: A Multi-Agent System for AI-Assisted Ethics Review [104.3684024153469]
  MirrorはAIによる倫理的レビューのためのエージェントフレームワークである。 倫理的推論、構造化された規則解釈、統合されたアーキテクチャ内でのマルチエージェントの議論を統合する。
  論文  参考訳（メタデータ） (2026-02-09T03:38:55Z)
• Syntactic Framing Fragility: An Audit of Robustness in LLM Ethical Decisions [1.0671844383558033]
  大規模言語モデル(LLM)は、逐次的な意思決定設定に徐々にデプロイされている。 LLMが論理的に等価だが構文的に異なるプロンプトに対して一貫した倫理的判断を維持できるかどうかを考察する。 SFF(Syntactic Framing Fragility)は、純粋に構文効果を分離するロバストネス評価フレームワークである。
  論文  参考訳（メタデータ） (2025-12-27T18:09:34Z)
• The Moral Consistency Pipeline: Continuous Ethical Evaluation for Large Language Models [5.636979853716324]
  本研究では,LLMの道徳的安定性を継続的に評価・解釈する,データセットフリーでクローズドループフレームワークであるMoCoPを提案する。 MoCoPは、(i)語彙整合性分析、(ii)意味的リスク推定、(iii)自己維持型アーキテクチャにおける推論に基づく判断モデリングの3つの支持層を組み合わせる。
  論文  参考訳（メタデータ） (2025-12-02T18:52:29Z)
• WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
  我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。 WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。 詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
  論文  参考訳（メタデータ） (2025-10-21T12:16:04Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• LLM Ethics Benchmark: A Three-Dimensional Assessment System for Evaluating Moral Reasoning in Large Language Models [8.018569128518187]
  本研究では,大規模言語モデル(LLM)の道徳的推論能力を体系的に評価するための新しい枠組みを確立する。 我々の枠組みは、3次元を通して人間の倫理基準との整合性を定量化することでこの問題に対処する。 このアプローチは、LLMの倫理的強みと弱みを正確に識別し、目標とする改善と社会的価値との整合性を高める。
  論文  参考訳（メタデータ） (2025-05-01T20:36:19Z)
• Addressing Moral Uncertainty using Large Language Models for Ethical Decision-Making [0.42481744176244507]
  本稿では,タスクに依存しない倫理的レイヤを用いて,事前学習された強化学習(RL)モデルを洗練する倫理的意思決定フレームワークを提案する。 倫理的階層は、Jensen-Shannon Divergence と Dempster-Shafer Theory を用いて複数の道徳的観点から信念のスコアを集約する。 この統合学習フレームワークは、複雑な環境においてRLエージェントが道徳的不確実性をナビゲートし、様々なタスクにおいて道徳的に健全な決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-17T19:05:55Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。