論文の概要: Measuring AI Accountability Through Argumentation Analysis: Can Model Reasoning Withstand Scrutiny?
- arxiv url: http://arxiv.org/abs/2609.05088v1
- Date: Fri, 04 Sep 2026 12:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.037255
- Title: Measuring AI Accountability Through Argumentation Analysis: Can Model Reasoning Withstand Scrutiny?
- Title（参考訳）: 議論分析によるAIアカウンタビリティの測定 - モデル推論は精査に耐えられるか?
- Abstract要約: 現実的な曖昧さにもかかわらず機能するように設計された代替規格について検討する。
我々は、ウォルトンの議論スキームの理論とGovierの議論の緊急性に関する基準に基づく4相弁証法を用いる。
推論の異なるフレームに適応し、多重選択フレーミングを越えて拡張し、評定に先立つ推論とポストホックの正当化の両方を扱う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI oversight methods rely on ground truth for validation, but what constitutes appropriate AI behavior is contested. This leaves evaluation of moral reasoning in LLMs and debate-based oversight implicitly avoiding realistic ambiguity. We investigate an alternative standard designed to function despite such ambiguity: structural quality of the defence a model can mount for its verdicts in response to critical questions, measured through a four-phase dialectical protocol grounded in Walton's theory of argumentation schemes and Govier's criteria for argument cogency. The protocol is adaptive to different frames of reasoning, extends beyond multiple-choice framing, and treats both the reasoning that precedes a verdict and its post-hoc justification. Across nine frontier models and 200 high-ambiguity MoralChoice items -- $6,778$ judge-scored cells, validated against $89.6\%$ inter-judge agreement on the binary failure judgment -- models defend their reasoning well above the rubric minimum on every dimension. Failure mass concentrates on grounds and sufficiency, and correlates with epistemic hedging rather than argument length. Reasoning is better defended than post-hoc justification, on every model and every Govier dimension. The scheme a model presents in its justification differs from the one it reasoned with on a substantial share of dilemmas ($\geq 20\%$ per model), despite value-based practical reasoning dominating both tracks. The protocol catches strictly indefensible defences (self-contradiction, false premises), and it surfaces difficulties in characterizing the role of retraction in AI alignment, suggesting a need for more situated evaluations.
- Abstract（参考訳）: AIの監視手法は、検証に根拠真理に依存するが、適切なAI行動を構成するものは競合する。
このことは、LLMにおける道徳的推論の評価と議論に基づく監視が、現実的な曖昧さを暗黙的に避けていることを残している。
このような曖昧さに拘わらず機能するように設計された代替標準について検討する: モデルの構造的品質は、批判的な問題に応答して、その判断のためにマウントできる。
このプロトコルは推論の異なるフレームに適応し、多重選択フレーミングを超えて拡張し、評定に先立つ推論とポストホックの正当化の両方を扱う。
9つのフロンティアモデルと200の高曖昧なMoralChoiceアイテム -- 6,778ドル(約6,800円)の判定付きセル — は、バイナリ障害判定に関する89.6セント(約8,800万円)の中間ジャッジ契約に対して検証された。
失敗質量は根拠と充足性に集中し、議論の長さではなくてててんかんのヘッジと相関する。
推論は、すべてのモデルとすべてのGovier次元において、ポストホックの正当化よりも防御性がよい。
モデルがその正当化において提示するスキームは、価値に基づく実践的推論が両方のトラックを支配しているにもかかわらず、相当量のジレンマ(モデル当たり20 %)で推論したものとは異なる。
このプロトコルは厳密な防御(自己矛盾、虚偽の前提)をキャッチし、AIアライメントにおけるリトラクションの役割を特徴づけることの難しさを表面化し、より位置のある評価の必要性を示唆している。
関連論文リスト
- A Contractualist Argumentation Framework for Moral Decision-Making [0.0]
我々は、スカンロンの契約主義に根ざした道徳的意思決定のための公式な枠組みを提案する。
構造化された議論フレームワークであるASPIC+を用いて、各エージェントの値が道徳的に関連がある理由をどのように決定するかをモデル化する。
論文 参考訳（メタデータ） (2026-08-03T09:10:22Z) - Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies [51.39569894108518]
大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。
本稿では,LLMのロバスト性を評価するためのベンチマークであるLoFa(Logical Fallacy)を紹介する。
また、誤攻撃に対する抵抗を定量化する指標であるk(LFR@k)の論理的誤り抵抗についても提案する。
論文 参考訳（メタデータ） (2026-06-30T02:17:45Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Collaborative Disagreement Resolution for Scalable Oversight [26.071237160687243]
分解分解能は、非専門家モデルが真実を識別するのに役立ち、標準的な議論では 49.2% よりも62.1% の精度で判断できる。
本研究は,敵の説得から協調的真理探索まで,スケーラブルな監視プロトコルを再考する実証的証拠を提供する。
論文 参考訳（メタデータ） (2026-06-02T12:55:49Z) - Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。
一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。
次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
論文 参考訳（メタデータ） (2026-02-06T08:03:11Z) - Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。
ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。
複数のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳（メタデータ） (2026-01-08T06:57:03Z) - CRAwDAD: Causal Reasoning Augmentation with Dual-Agent Debate [3.2852123901391077]
我々は因果推論のための二重エージェント議論フレームワークを開発する。
エージェントは互いに説得し合い、互いの論理に挑戦します。
我々は、強力なモデルが依然として弱いエージェントとの議論から大きな恩恵を受けることを示している。
論文 参考訳（メタデータ） (2025-11-28T03:19:35Z) - Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning [11.255428720705204]
本稿では,ケース間の重要な区別を3段階の推論タスクに分解する枠組みを提案する。
我々のフレームワークは、要因と呼ばれる事実的述語を使用してケースをモデル化し、それらを法的知識階層に整理し、区別を識別するための検証可能なルールを定義します。
我々は、モデルが正しい応答よりも間違った応答について、常に多くの計算資源を消費していることを発見し、「より長く考えることは、必ずしも「より賢く考える」という意味ではないことを示唆している。
論文 参考訳（メタデータ） (2025-10-09T18:15:28Z) - "Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas [11.229443362516207]
本研究は,14大言語モデル(LLM)の包括的実証評価である。
我々は3,780の二項決定と自然言語の正当性を抽出し、決定的断定性、説明的回答の整合性、公的な道徳的整合性、倫理的に無関係な手がかりに対する感受性の軸に沿った分析を可能にした。
我々は、LLMのアライメントにおいて、道徳的推論が主軸となることを主張し、LLMが決定するものだけでなく、どのように、なぜかを評価する標準ベンチマークを要求している。
論文 参考訳（メタデータ） (2025-08-10T10:45:16Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。