論文の概要: Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning

• arxiv url: http://arxiv.org/abs/2510.00881v1
• Date: Wed, 01 Oct 2025 13:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.581029
• Title: Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning
• Title（参考訳）: SEにおける自動倫理プロファイルの強化:LDM推論のゼロショット評価
• Authors: Patrizio Migliarini, Mashal Afzal Memon, Marco Autili, Paola Inverardi,
• Abstract要約: 大規模言語モデル(LLM)は、コード合成を超えて拡張されたタスクのためのソフトウェア工学(SE)ツールにますます統合されています。 ゼロショット設定で16LLMの倫理的推論能力を評価するための完全に自動化されたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.389448546196977
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly integrated into software engineering (SE) tools for tasks that extend beyond code synthesis, including judgment under uncertainty and reasoning in ethically significant contexts. We present a fully automated framework for assessing ethical reasoning capabilities across 16 LLMs in a zero-shot setting, using 30 real-world ethically charged scenarios. Each model is prompted to identify the most applicable ethical theory to an action, assess its moral acceptability, and explain the reasoning behind their choice. Responses are compared against expert ethicists' choices using inter-model agreement metrics. Our results show that LLMs achieve an average Theory Consistency Rate (TCR) of 73.3% and Binary Agreement Rate (BAR) on moral acceptability of 86.7%, with interpretable divergences concentrated in ethically ambiguous cases. A qualitative analysis of free-text explanations reveals strong conceptual convergence across models despite surface-level lexical diversity. These findings support the potential viability of LLMs as ethical inference engines within SE pipelines, enabling scalable, auditable, and adaptive integration of user-aligned ethical reasoning. Our focus is the Ethical Interpreter component of a broader profiling pipeline: we evaluate whether current LLMs exhibit sufficient interpretive stability and theory-consistent reasoning to support automated profiling.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、倫理的に重要な文脈における不確実性に基づく判断や推論を含む、コード合成を超えたタスクのためのソフトウェア工学(SE)ツールにますます統合されている。 ゼロショット設定で16LLMの倫理的推論能力を評価するための,30の現実的な倫理的推論シナリオを用いて,完全に自動化されたフレームワークを提案する。 各モデルは、行動に最も適用可能な倫理理論を特定し、その道徳的受容性を評価し、その選択の背後にある理由を説明するよう促される。 モデル間合意の指標を用いて、専門家の倫理主義者の選択に対して反応が比較される。 以上の結果から,LLM は道徳的受容率 86.7% で平均理論整合率 73.3% と 2次合意率 (BAR) を達成し,倫理的曖昧なケースでは解釈可能な相違が集中していることがわかった。 自由文の説明の質的な分析は、表面レベルの語彙の多様性に拘わらず、モデル間で強い概念収束を示す。 これらの知見は、SEパイプライン内の倫理推論エンジンとしてのLLMの潜在可能性を支持し、スケーラブルで監査可能で適応的なユーザ整合性推論の統合を可能にする。 我々の焦点は、より広範なプロファイリングパイプラインの倫理的解釈要素であり、我々は、現在のLLMが、自動プロファイリングをサポートするのに十分な解釈安定性と理論に一貫性のある推論を示すかどうかを評価する。

関連論文リスト

• LLM Ethics Benchmark: A Three-Dimensional Assessment System for Evaluating Moral Reasoning in Large Language Models [8.018569128518187]
  本研究では,大規模言語モデル(LLM)の道徳的推論能力を体系的に評価するための新しい枠組みを確立する。 我々の枠組みは、3次元を通して人間の倫理基準との整合性を定量化することでこの問題に対処する。 このアプローチは、LLMの倫理的強みと弱みを正確に識別し、目標とする改善と社会的価値との整合性を高める。
  論文  参考訳（メタデータ） (2025-05-01T20:36:19Z)
• Addressing Moral Uncertainty using Large Language Models for Ethical Decision-Making [0.42481744176244507]
  本稿では,タスクに依存しない倫理的レイヤを用いて,事前学習された強化学習(RL)モデルを洗練する倫理的意思決定フレームワークを提案する。 倫理的階層は、Jensen-Shannon Divergence と Dempster-Shafer Theory を用いて複数の道徳的観点から信念のスコアを集約する。 この統合学習フレームワークは、複雑な環境においてRLエージェントが道徳的不確実性をナビゲートし、様々なタスクにおいて道徳的に健全な決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-17T19:05:55Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。