論文の概要: Democratic ICAI: Debating Our Way to Steering Principles from Preferences

• arxiv url: http://arxiv.org/abs/2606.28294v1
• Date: Fri, 26 Jun 2026 17:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.550876
• Title: Democratic ICAI: Debating Our Way to Steering Principles from Preferences
• Title（参考訳）: 民主党ICAI: 原則を優先的に操る方法について議論
• Abstract要約: 逆構成AI(ICAI)は、好みを自然言語の原則に要約することで意思決定における解釈可能性を改善する。 我々は,構造化されたペルソナ討論を通じて,複数の競合する合理性を集める新しいアプローチである民主党ICAIを紹介する。
• 参考スコア（独自算出の注目度）: 0.8192417431645813
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Preference-based alignment often struggles to capture the reasoning that underlies human judgments. Many evaluations rely on multiple interacting criteria, yet pairwise labels reveal only the final choice rather than the considerations that shape preferences. Inverse Constitutional AI (ICAI) improves interpretability in decision making by summarizing preferences into natural-language principles, but its single-pass explanations miss much of the nuance involved in complex decisions. We introduce Democratic ICAI, a novel approach that gathers multiple competing rationales through structured persona debate, offering a broader and more expressive account of the factors influencing each comparison. From these richer signals, we derive clearer and more comprehensive steering principles and use them to guide decision modeling through both LLM-based and decision-tree judges. Experiments on creative preference benchmarks, MuCE-Pref and LiTBench, across multiple creative task categories show that Democratic ICAI yields a more faithful preference structure. It improves average preference prediction across tasks relative to deliberative prompting and principle-based baselines, while producing constitutions that LLM annotators prefer.
• Abstract（参考訳）: 嗜好に基づくアライメントは、しばしば人間の判断の根底にある推論を捉えるのに苦労する。 多くの評価は複数の相互作用基準に依存しているが、ペアワイズラベルは好みを形作ることよりも最終選択のみを明らかにする。 逆構成AI(ICAI)は、好みを自然言語の原則に要約することで意思決定における解釈可能性を改善するが、そのシングルパスの説明は複雑な決定に関わる多くのニュアンスを見逃している。 構造化されたペルソナの議論を通じて、複数の競合する合理性を収集する新しいアプローチである民主党ICAIを紹介し、それぞれの比較に影響を及ぼす要因について、より広く、より表現力のある説明を提供する。 これらのリッチなシグナルから、より明確で包括的なステアリングの原則を導出し、LSMに基づく意思決定モデルと意思決定ツリーの判断をガイドする。 MuCE-Pref と LiTBench による創造的選好ベンチマークの実験は、民主ICAI がより忠実な選好構造をもたらすことを示している。 LLMアノテータが好む構成を作成しながら、熟考的プロンプトや原則に基づくベースラインに対するタスク間の平均的な嗜好予測を改善する。

関連論文リスト

• Multi-Branch Policy Optimization for Multimodal Large Language Models [21.856599797665833]
  マルチモーダルな大規模言語モデルに対するグループベース強化学習法は、トラジェクトリレベルの信用代入に依存している。 マルチモーダル推論は、テキストのみの設定よりも知覚の不確実性が高い。 視覚言語決定境界における推論木を構築する木ベースのフレームワークであるMulti-Branch Policy Optimization (MBPO)を提案する。
  論文  参考訳（メタデータ） (2026-08-05T04:00:09Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• Factorized Latent Reasoning for LLM-based Recommendation [22.89937395617018]
  逐次リコメンデーションのための新しいフレームワークであるFactized Latent Reasoning (FLR)を提案する。 FLRは潜伏推論を複数の非絡み合った選好因子に分解する。 FLRは、頑健さと解釈性を改善しつつ、強いベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-29T14:55:53Z)
• Debate to Align: Reliable Entity Alignment through Two-Stage Multi-Agent Debate [13.025981335381637]
  我々はマルチエージェントの議論に基づく信頼できるEAフレームワークであるAgentEAを提案する。 AgentEAはエンティティ表現の優先順位最適化を通じて埋め込み品質を改善する。 次に、軽量な議論検証と深い議論アライメントからなる2段階のマルチロール討論機構を導入する。
  論文  参考訳（メタデータ） (2026-04-15T06:54:27Z)
• Towards Large Language Models with Self-Consistent Natural Language Explanations [11.085839471231552]
  大きな言語モデル(LLM)は、解釈容易なパスを提供するようだ。 しかし、研究によると、これらのポストホックな説明は真の決定過程を誤って表現していることが多い。
  論文  参考訳（メタデータ） (2025-06-09T08:06:33Z)
• What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context [56.590259941275434]
  RecPOは、シーケンシャルなレコメンデーションのための優先順位最適化フレームワークである。 これは、推定された嗜好階層と時間信号に基づいて適応的な報酬マージンを利用する。 タイムリーな満足感、コヒーレントな嗜好の維持、変化する状況下での識別の行使など、人間の意思決定の重要な特徴を反映している。
  論文  参考訳（メタデータ） (2025-06-02T21:09:29Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。