論文の概要: Open Problems in Constitutional Preference Reconstruction

• arxiv url: http://arxiv.org/abs/2606.30116v1
• Date: Mon, 29 Jun 2026 10:47:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.197712
• Title: Open Problems in Constitutional Preference Reconstruction
• Title（参考訳）: 憲法規定の再構築における開放的課題
• Abstract要約: Inverse Constitutional AI (ICAI)のような手法は、自然に特定された原則の「短い憲法」に圧縮することで解釈性を向上させる。 原則の平坦なリストは、原則の構成を暗黙的に残しているため、まだ実行可能な決定ルールではありません。 このペアワイズ設定をテストベッドとして使用し、立憲法における3つのオープンな問題を実証的に特徴付ける。
• 参考スコア（独自算出の注目度）: 2.104915153556704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise preference data is widely used for training and evaluating language models (e.g., RLHF), but each datapoint records a \emph{choice}, not the rationale behind it. Methods such as Inverse Constitutional AI (ICAI) attempt to improve interpretability by compressing datasets into short ``constitutions'' of natural-language principles. We argue this framing is under-specified: a flat list of principles is not yet an executable decision rule because it leaves principle composition implicit. We use the pairwise setting as a testbed to empirically characterize three open problems in constitutional methods. First, principle quality is hard to measure: coverage and accuracy are useful but incomplete proxies for end-to-end reconstruction. Second, \emph{composition is ambiguous}: holding principles fixed, different executors (LLM judge versus majority vote) agree only $73\%$ of the time. Third, \emph{constitutions differ between LLMs}: cross-model vote agreement is $73\%$, whereas intra-model agreement is $81\%$. Across PRISM, AlpacaEval, and Chatbot Arena, we show that principle refinement (ICAI+) may be a first step towards ameliorating these problems: inter-executor agreement rises to $78\%$, and transparent executors match LLM judge accuracy ($66\%$ vs.\ $67\%$). Our results highlight that constitutions should be evaluated as \emph{constitution--executor systems}, with implications for LLMs-as-a-judge broadly.
• Abstract（参考訳）: ペアワイズ選好データは、言語モデル(例えば、RLHF)のトレーニングと評価に広く使用されているが、各データポイントは、その背景にある根拠ではなく、 \emph{choice} を記録している。 Inverse Constitutional AI (ICAI) のような手法は、データセットを自然言語の原則の短い ``constitutions'' に圧縮することで、解釈性を改善する。 原則の平坦なリストは、原則の構成を暗黙的に残しているため、まだ実行可能な決定ルールではありません。 このペアワイズ設定をテストベッドとして使用し、立憲法における3つのオープンな問題を実証的に特徴付ける。 カバレッジと精度は有用だが、エンドツーエンドの再構築には不完全なプロキシである。 第二に、'emph{composition is amambiuous}: 原則を定め、異なる執行者(LLM審査員対多数決)は、その期間の73.5%しか合意しない。 第3に、 'emph{constitutions' は LLM によって異なる: クロスモデル投票契約は 73\%$ であるのに対し、イントラモデル合意は 811\%$ である。 PRISM、AlpacaEval、Chatbot Arena全体では、原則改善(ICAI+)がこれらの問題を改善するための第一歩であることを示している。 67 %$)。 以上の結果から, 憲法は「emph{constitution--executor system}」として評価されるべきであり, LLMs-as-a-judge を広く含んでいることが示唆された。

関連論文リスト

• The Constitutional Coverage Trilemma in AI Governance [0.0]
  AIシステムは、Emphconstitutional institutionsとして機能する。各デプロイされたモデルは、安全性、有用性、誠実性、自律性、株式の暗黙のランクを符号化する。 我々は、フロンティア憲法型の供給が人間の需要をカバーするかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-01T14:08:56Z)
• Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
  LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。 実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:27:01Z)
• YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate [0.0]
  我々は,YUKTIが各ステージを正確に,非線形,あるいは進化的解法にルートすることを示す。 我々は,決定的後悔の正確な要因として境界作成rhoを証明し,監査可能なトレーサビリティを付加し,ベンチマークに忠実なデータ基盤を合成する。 規制上の不特定の下では、堅牢な妥協が平均とテールの後悔を90%以上削減し、単純なポイントプランと比較し、規制された商業上の決定では、合法的な行動空間内で最適化し、ユーロの下落価格を下げる。
  論文  参考訳（メタデータ） (2026-06-22T09:29:13Z)
• A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
  目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。 価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
  論文  参考訳（メタデータ） (2026-06-10T16:11:04Z)
• The Sample Complexity of Multiclass and Sparse Contextual Bandits [106.74652380822778]
  我々は,包括的フィードバックに基づいて,与えられたクラスからほぼ最適なポリシーを特定することを目的とする。 ゼロ・ワンの報酬を伴うバンド型マルチクラス分類に動機付けられ、emph$s$-sparse設定に焦点をあてる。 我々は、$s$-sparseの報酬で、誘導モデルクラスは、$s$でスケールするシャープなDEC境界を認め、直接最適なレートを得ることを示す。
  論文  参考訳（メタデータ） (2026-05-28T09:12:20Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
  OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。 OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。 CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
  論文  参考訳（メタデータ） (2026-05-14T17:57:40Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Reinforcement Learning from Adversarial Preferences in Tabular MDPs [62.73758165845971]
  我々は,敵対的嗜好を持つエピソードマルコフ決定プロセス(MDP)の新たな枠組みを導入する。 PbMDP では、標準的なエピソード MDP とは異なり、学習者は2つの候補アーム間の好みを観察する。 我々は、既知遷移の下で、T2/3$という残差境界を達成するアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2025-07-15T20:19:32Z)
• Style Outweighs Substance: Failure Modes of LLM Judges in Alignment Benchmarking [56.275521022148794]
  ポストトレーニング法は、人間のペアワイズ選好とのより良い対応により、優れたアライメントを主張する。 LLM-judgeの好みは、アライメントのためのより具体的なメトリクスの進捗に変換されますか、そうでなければ、なぜそうでないのでしょうか? その結果,(1) LLM-judge の嗜好は,安全性,世界知識,指導の具体的な尺度と相関せず,(2) LLM-judge の暗黙バイアスが強く,事実性や安全性よりもスタイルを優先し,(3) POステージではなく,訓練後の微調整段階がアライメントに最も影響していることが判明した。
  論文  参考訳（メタデータ） (2024-09-23T17:58:07Z)
• Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
  本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。 逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
  論文  参考訳（メタデータ） (2021-10-25T02:53:24Z)
• Regret Minimization in Stochastic Contextual Dueling Bandits [40.17224226373741]
  我々は、コンテキスト設定において、$K$武装デュエルバンディットの問題を考察する。 提案手法は, それぞれ, 後悔の保証を施した2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T06:36:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。