論文の概要: Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone

• arxiv url: http://arxiv.org/abs/2605.04454v1
• Date: Wed, 06 May 2026 03:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.626907
• Title: Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone
• Title（参考訳）: モデルレベル評価からデプロイ関連アライメントを推定できない
• Authors: Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais,
• Abstract要約: 機械学習におけるアライメント評価は、主にモデルの評価となっている。 本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。
• 参考スコア（独自算出の注目度）: 11.663456969895462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Alignment evaluation in machine learning has largely become evaluation of models. Influential benchmarks score model outputs under fixed inputs, such as truthfulness, instruction following, or pairwise preference, and these scores are often used to support claims about deployed alignment. This paper argues that deployment-relevant alignment cannot be inferred from model-level evaluation alone. Alignment claims should instead be indexed to the level at which evidence is collected: model-level, response-level, interaction-level, or deployment-level. Two studies support this position. First, a structured audit of eleven alignment benchmarks, extended to a sixteen-benchmark corpus, dual-coded against an eight-dimension rubric with Cohen's kappa = 0.87, finds that user-facing verification support is absent across every benchmark examined, while process steerability is nearly absent. The few interactional benchmarks identified, including tau-bench, CURATe, Rifts, and Common Ground, remain fragmented in coverage, and benchmark construction rather than data source determines what is measured. Second, a blinded cross-model stress test using 180 transcripts across three frontier models and four scaffolds finds that the same verification scaffold raises one model's verification support to ceiling while leaving another categorically unchanged. This shows that scaffold efficacy is model-dependent and that the gap identified by the audit cannot be closed at the model level alone. We propose a system-level evaluation agenda: alignment profiles instead of single scores, fixed-scaffolding protocols for comparable interactional evaluation, and reporting templates that make the inferential distance between evaluation evidence and deployment claims explicit.
• Abstract（参考訳）: 機械学習におけるアライメント評価は、主にモデルの評価となっている。 インフルエンシャルベンチマークは、真理性、命令従順、ペアの選好などの固定された入力の下でモデル出力をスコアし、これらのスコアは、配置されたアライメントに関するクレームをサポートするためにしばしば使用される。 本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。 アライメントのクレームは、モデルレベル、レスポンスレベル、インタラクションレベル、デプロイメントレベルといったエビデンスが収集されるレベルにインデックス化されるべきです。 2つの研究がこの立場を支持している。 まず、11のアライメントベンチマークの構造化監査が16個のベンチマークコーパスに拡張され、コーエンのカッパ=0.87で8次元のルーブリックに対して二重符号化され、テスト対象のベンチマーク毎にユーザ対応の検証サポートが欠落しているのに対して、プロセスのステアビリティはほぼ欠落している。 Tau-bench、CURATe、Rifts、Common Groundを含む数少ない相互作用ベンチマークは、カバレッジで断片化され、データソースよりもベンチマーク構築が測定値を決定する。 第二に、3つのフロンティアモデルと4つの足場をまたいだ180の転写文字を用いたブラインドされたクロスモデルストレステストでは、同じ検証足場が1つのモデルの検証サポートを天井まで引き上げ、別の分類学的に変化しないままにすることを発見した。 このことは、足場の有効性はモデルに依存しており、監査によって特定されるギャップはモデルレベルでのみ閉じることができないことを示している。 本稿では, 単一スコアではなくアライメントプロファイル, 同等のインタラクション評価のための固定スキャフォールディングプロトコル, 評価エビデンスとデプロイメントのクレーム間の推論距離を明示するテンプレートを提示するシステムレベル評価アジェンダを提案する。

関連論文リスト

• When Verification Fails: How Compositionally Infeasible Claims Escape Rejection [30.404615085122046]
  既存の検証ベンチマークでは,厳密なクレーム検証と簡易な塩分制約依存を区別できないことを示す。 有意な制約が支持されるが、非有意な制約が矛盾する場合に、構成的に不可能なクレームを構築する。 モデル間の差は,基礎的推論能力よりも検証しきい値の差を反映していることを示す。
  論文  参考訳（メタデータ） (2026-04-13T04:48:20Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
  マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。 従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。 SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
  論文  参考訳（メタデータ） (2025-09-16T16:06:19Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。