論文の概要: Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable

• arxiv url: http://arxiv.org/abs/2610.30349v1
• Date: Wed, 21 Oct 2026 19:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.113139
• Title: Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable
• Title（参考訳）: 一貫性は妥当性ではない: 自己逆格のモラル論は言語モデルを決定的だが信頼性を損なう
• Abstract要約: 我々は,マスキングによる自己判断トーナメントにおいて,最先端の言語モデルから強化学習政策を訓練する。 生成された議論は、ポリシー自体によって、議論品質に基づいてペアワイズに判断される。 審査員は人間のアノテータのように議論の質を評価し、ポリシーはそれを報いる言語レジスタを採用する。
• 参考スコア（独自算出の注目度）: 3.8699157449788513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are increasingly consulted for moral judgment. We aim to improve performance on such tasks by rewarding good arguments, on the premise that arguing well increases the likelihood of judging well. We train a reinforcement learning policy initialized from a state-of-the-art language model in a self-judged tournament with masked thinking: the generated arguments are judged pairwise on argument quality by the policy itself. As an empirical basis, we extract authentic dilemmas from classic novels, using a logic solver to verify that each constitutes a conflict. We show that our judge rates argument quality like human annotators, and the policy then adopts the language register that it rewards. Testing on the external benchmarks MoralChoice, ELEPHANT, and MORABLES, we find that the policy becomes more decisive and invariant to the order in which options are presented, but sycophancy and reframing remain a challenge to validity. Two ablation studies with synthetic dilemmas and unmasked thinking match the reordering gains, but show a weaker register shift and higher sycophancy. We conclude that consistency is not validity: consistency under reordering can be optimized without improving the moral judgment it is meant to signal.
• Abstract（参考訳）: LLMはますます道徳的判断のために相談されている。 我々は,良質な議論に報いることによって,良質な議論がうまく判断できる可能性を高めることを前提として,このような課題の性能向上を目指す。 我々は,自己判断型トーナメントにおいて,最先端の言語モデルから初期化した強化学習政策を仮面的思考で訓練する。 経験的基礎として、論理解法を用いて古典小説から真正ジレンマを抽出し、それぞれが矛盾を構成することを検証する。 審査員は人間のアノテータのように議論の質を評価し、ポリシーはそれを報いる言語レジスタを採用する。 外部ベンチマークであるMoralChoice、ELEPHANT、MORABLESでテストしたところ、オプションが提示される順序よりもポリシーが決定的かつ不変であることが分かりました。 人工ジレンマと非マズドシンキングによる2つのアブレーション研究は、並べ替えの利得と一致したが、レジスタシフトが弱く、サイコフィケーシーも高くなった。 我々は、一貫性は正当性ではないと結論付け、再順序付けの下での整合性は、信号の意図する道徳的判断を改善することなく最適化することができる。

関連論文リスト

• Measuring AI Accountability Through Argumentation Analysis: Can Model Reasoning Withstand Scrutiny? [0.0]
  現実的な曖昧さにもかかわらず機能するように設計された代替規格について検討する。 我々は、ウォルトンの議論スキームの理論とGovierの議論の緊急性に関する基準に基づく4相弁証法を用いる。 推論の異なるフレームに適応し、多重選択フレーミングを越えて拡張し、評定に先立つ推論とポストホックの正当化の両方を扱う。
  論文  参考訳（メタデータ） (2026-09-04T12:40:39Z)
• Incoherent by Design? On the Moral Self-Consistency of LLMs [1.396799748514919]
  LLMは、道徳的にセンシティブな文脈での利用が増えている。 倫理的原則を状況に一貫して適用するかどうかは不明である。 道徳的原則を記述できるモデルは、同じシナリオが書き直されたり、書き直されたりしても、それを侵害する可能性がある。
  論文  参考訳（メタデータ） (2026-08-15T18:16:52Z)
• CORDA: A Benchmark for Hierarchical Harm-Centric Moral Reasoning in Large Language Models [10.221486703870996]
  道徳的判断の鍵となる問題は、道徳的原則が矛盾するときに何が重要かを人々がどのように決定するかである。 大規模言語モデル(LLM)の現在の評価は依然として限られている。 CORDAは階層的、調和中心の道徳的推論を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-08-08T10:56:30Z)
• ARGUS: Theory-of-Mind Guided Argument Generation with Strategy-Aware Planning and Knowledge Grounding [5.0921317897723215]
  本稿では,古典的レトリックを操作可能なエージェントベースのフレームワークであるArgusを提案する。 理論・オブ・ミンド(ToM: Theory-of-Mind)は、視聴者の信念と価値観を明確に二重の精神モデルを構築し、下流の意思決定を導く。 自動ペアワイズEloとLCM-as-judgeのメトリクスを用いて,Argusを3つの多様なベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-08-06T02:26:10Z)
• Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies [51.39569894108518]
  大規模言語モデル(LLM)は強力な意味的能力を示すが、論理的誤認のような操作型言語パターンに対する弾力性は未解明のままである。 本稿では,LLMのロバスト性を評価するためのベンチマークであるLoFa(Logical Fallacy)を紹介する。 また、誤攻撃に対する抵抗を定量化する指標であるk(LFR@k)の論理的誤り抵抗についても提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:17:45Z)
• GRASP: Deterministic argument ranking in interaction graphs [65.66879897437157]
  全体的判断はモデル間不一致に悩まされていることを示す。 この不安定性は、議論の複雑な相互作用構造を1つの不透明なスコアに崩壊させることから生じる。 安定な局所的相互作用判断をグローバルなランキングに集約する決定論的なフレームワークであるGRASPを提案する。
  論文  参考訳（メタデータ） (2026-05-18T21:49:02Z)
• Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
  大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
  論文  参考訳（メタデータ） (2026-02-06T08:03:11Z)
• MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
  MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。 主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。 以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-15T19:06:10Z)
• "Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas [11.229443362516207]
  本研究は,14大言語モデル(LLM)の包括的実証評価である。 我々は3,780の二項決定と自然言語の正当性を抽出し、決定的断定性、説明的回答の整合性、公的な道徳的整合性、倫理的に無関係な手がかりに対する感受性の軸に沿った分析を可能にした。 我々は、LLMのアライメントにおいて、道徳的推論が主軸となることを主張し、LLMが決定するものだけでなく、どのように、なぜかを評価する標準ベンチマークを要求している。
  論文  参考訳（メタデータ） (2025-08-10T10:45:16Z)
• Are Language Models Consequentialist or Deontological Moral Reasoners? [75.6788742799773]
  我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。 我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
  論文  参考訳（メタデータ） (2025-05-27T17:51:18Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。