論文の概要: VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation

• arxiv url: http://arxiv.org/abs/2610.21304v1
• Date: Thu, 15 Oct 2026 05:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.206564
• Title: VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation
• Title（参考訳）: VALCON: デュアルロール変動による大規模言語モデルにおける価値一貫性のベンチマークと改善
• Abstract要約: 大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。 本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。 我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
• 参考スコア（独自算出の注目度）: 50.26484893435373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current value alignment evaluations for large language models (LLMs) heavily rely on output compliance, overlooking whether LLMs maintain value consistency when alternating between generator and evaluator roles. Such consistency is increasingly important because modern LLM agents and alignment pipelines often rely on the same LLM to both generate actions and evaluate their acceptability. To mitigate this limitation, we propose VALCON, a role-driven data construction framework that operationalizes value consistency into three benchmark suites (VAB-Consistency, VAB-Boundary, VAB-Challenge) via dual-role variation. By systematically pairing an LLM's generative behavior with its evaluative judgments under identical principles, VALCON synthesizes target evaluation data that exposes hidden value discrepancies. Experiments on 28 LLMs reveal pervasive cross-role inconsistency: models with highly compliant outputs frequently fail to align their judgments with their own generations. To understand and address this gap, we perform mechanistic probing that uncovers a role-dependent representational decoupling associated with this behavioral asymmetry. Guided by these insights, we propose a representation-directed intervention that effectively mitigates consistency failures. Our work establishes value consistency as a distinct alignment dimension and provides a complete evaluation-analysis-mitigation pipeline. Code and data are available at https://github.com/tjunlp-lab/VALCON.
• Abstract（参考訳）: 大規模言語モデル(LLM)の現在の値アライメント評価は出力コンプライアンスに大きく依存しており、ジェネレータと評価役の交互にLLMが値一貫性を維持しているかどうかを見極めている。 現代のLLMエージェントとアライメントパイプラインは、アクションを生成し、その受け入れ性を評価するために、しばしば同じLLMに依存しているため、このような一貫性はますます重要である。 この制限を緩和するために、ロール駆動型データ構築フレームワークであるVALCONを提案し、値整合性(VAB-Consistency, VAB-Boundary, VAB-Challenge)を2つのベンチマークスイート(VAB-Consistency, VAB-Bundary, VAB-Challenge)に運用する。 VALCONは、LLMの生成的振る舞いと、その評価的判断を同一の原理で体系的に組み合わせることで、隠れ値の不一致を露呈するターゲット評価データを合成する。 28個のLSMの実験では、広範にわたるクロスロールの不整合が明らかになっている。 このギャップを理解し、対処するために、この挙動非対称性に関連する役割依存的な表現的疎結合を明らかにする機械論的探索を行う。 これらの知見に導かれて、一貫性障害を効果的に軽減する表現指向の介入を提案する。 我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供します。 コードとデータはhttps://github.com/tjunlp-lab/VALCON.comで公開されている。

関連論文リスト

• FabriMAE I Trust Myself? Self-Evaluating VLA Action Generation with Markov Attention Entropy [63.26759696630558]
  VLA(Vision-Language-Action Model)は、視覚認識、言語命令、アクション生成をエンドツーエンドのポリシーに統合する。 既存の手法は専門家のアノテーションに頼るか、出力統計のみから不確実性を見積もる。 我々は,内部の注意信号をアーキテクチャ対応信頼性スコアに変換する自己評価フレームワークであるMAE(Markov Attention Entropy)を提案する。
  論文  参考訳（メタデータ） (2026-08-17T15:14:53Z)
• Structured Multi-Criteria Evaluation of Large Language Models with Fuzzy Analytic Hierarchy Process and DualJudge [1.9029675742486802]
  大規模言語モデル(LLM)の効果的な評価は、従来の直接スコアリングが矛盾し、不透明な判断を下すため、依然として重要なボトルネックとなっている。 解析階層プロセス(AHP)をLCMに基づく評価に適用し,信頼度を考慮したファジィAHP拡張を提案する。 構造化されたアプローチは、評価を明確な基準に分解し、不確実性を認識したアグリゲーションを取り入れ、より校正された判断を生み出す。
  論文  参考訳（メタデータ） (2026-04-04T14:07:37Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities [14.13459302125202]
  大きな言語モデル(LLM)の一貫性を評価することは、信頼性を確保するために不可欠である。 従来の自己整合性メソッドは、自然言語の微妙な意味的変化や、コードや方程式の関数的シフトを見逃すことが多い。 可逆変換のシーケンスによる一貫性の測定を目的とした木に基づく評価フレームワークであるConsistencyCheckerを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:18:33Z)
• Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
  大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な機能を示している。 ハイテイクなドメインへのデプロイメントには、複数ラウンドにわたるユーザインタラクションの一貫性と一貫性を備えた動作が必要です。 本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-28T11:49:56Z)
• Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。 価値を人間に合わせることは 責任ある開発に欠かせないものになっています 3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。