論文の概要: Feed the Panel Dimensions, Not Verdicts: Rubric-Decomposed Fusion of Vision-Language Aesthetic Judges
- arxiv url: http://arxiv.org/abs/2609.27110v1
- Date: Tue, 22 Sep 2026 22:07:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.787033
- Title: Feed the Panel Dimensions, Not Verdicts: Rubric-Decomposed Fusion of Vision-Language Aesthetic Judges
- Title（参考訳）: パネル寸法、判断ではなく:ルーブリック分解による視覚・言語美的判断の融合
- Abstract要約: 視覚言語モデル(VLM)は、画像美学のゼロショット判定としてデプロイされる。
総合的な審査員のパネルが、その最高のメンバーを圧倒することはない。
パネルの価値は、何が供給されるかによって異なります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) are deployed as zero-shot judges of image aesthetics, and panels of several models are recommended, on thin evidence, as the way to make such judges reliable. On two human-rated datasets, EVA and PARA, we find that a panel of holistic judges never significantly beats its best member, whether the verdicts are averaged or fused by a learned combiner. What a panel is worth depends on what it is fed. We therefore have each model score each image on the five dimensions of a frozen, human-written rubric and fuse those scores, alongside each model's verdict, across model families with an out-of-fold combiner. The dimension scores measure what their labels claim: with the overall human score partialled out, a dimension prompt carries more attribute-specific information than the holistic prompt in 28 of 30 model-attribute cells. Fused, they beat the best single VLM in all ten three-family panels on EVA (against that best single model, +0.07 Spearman rho for the strongest trio and +0.10 for the pre-declared one, and +0.06 and +0.07 when averaged over twenty fold partitions; against the panel mean, the primary test gives +0.118 on its EVA design set), and on PARA they reach parity under Spearman rho and a small, non-significant loss under Kendall tau-b, where one model already captures 85% of the human noise ceiling. It is not a feature-count artefact: giving the same combiner an equal number of pure holistic columns, split from the same repetitions, does not reproduce it. The gain costs a few hundred labels, which do not transfer between datasets, and 4.8x the API calls on EVA; we report it with paired bootstraps and Kendall tau-b, alongside a failed pre-registration and the configurations that lost.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、画像美学のゼロショット審査員としてデプロイされ、いくつかのモデルのパネルは、そのような判断を信頼できるものにする方法として、薄い証拠に基づいて推奨される。
EVAとPARAの2つの評価されたデータセットでは、総合的な審査員のパネルが、評定が平均されるか、学習されたコンバインダーによって融合されるかにかかわらず、その最高のメンバーを著しく上回らないことが判明した。
パネルの価値は、何が供給されるかによって異なります。
したがって、各モデルが凍結された人間の筆跡の5次元で各画像にスコアを付け、それらのスコアをモデルの判断と並行して融合させ、モデルファミリにアウト・オブ・フォールド・コンバインダを組み込む。
ディメンションスコアはラベルの主張を測るもので、人間全体のスコアが部分的になると、30のモデル属性細胞のうち28のモデル属性プロンプトよりも属性固有の情報を運ぶ。
融合して、EVA上の10の3つのファミリーパネルでベストシングルVLMを破り(最高モデルでは+0.07、最強トリオでは+0.10、20倍のパーティションでは+0.06と+0.07)、パネル平均ではプライマリテストは+0.118、そしてPARAではSperman rhoの下でのパリティに達し、Kendall tau-bの下では小さな無意味な損失がすでに85%を占めていた。
同じ結合子に同じ数の純粋な総体列を与え、同じ繰り返しから分離するが、それを再現しない。
EVA上でのAPI呼び出しの4.8倍、ペア化されたブートストラップとKendall tau-b、失敗に終わった事前登録と失われた設定を報告します。
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。
FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。
同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
論文 参考訳（メタデータ） (2026-08-20T21:14:52Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳（メタデータ） (2026-07-31T10:44:10Z) - Creativity, honesty and designed forgetting emerge in small hyperbolic language models [0.0]
言語モデルはスケールに最適化されているが、相補的ではなく機能的である。
アシスタントが仲間にパーソナライズされると、それは静かに誰かになり、そのユーザーを傷つける特性を静かに取得できる。
仲間が何になり、何になる価値があるのかは、信頼できる手段を持っていません。
ここでは、3つの小さな言語モデルが双曲的基質を共有していることを示す。
論文 参考訳（メタデータ） (2026-07-10T11:39:40Z) - VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection [0.04736448323490553]
VendorBench-100は、ディープフェイク画像検出のためのクロスパラダイムなベンチマークである。
単一対角100画像コーパス,統一出力スキーマ,共通評価フレームワークを用いて36種類の代表モデルを評価する。
評価の結果,商用APIが最も高い性能を達成し,次いでビジョンLLMとオープンソース検出器が続いた。
論文 参考訳（メタデータ） (2026-07-07T13:22:00Z) - Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist [69.81453995715673]
既存の忠実度ベンチマークは単純な原子命令に依存している。
本稿では,実アリーナT2Iログから抽出した310プロンプトの応力ベンチマークであるArena-T2I Hardを紹介する。
本稿では,各プロンプトをイエス/ノー質問のDAGに分解し,失敗する両親の子孫をゼロにする依存性対応チェックリスト報酬を提案する。
論文 参考訳（メタデータ） (2026-06-30T14:17:05Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。
私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
論文 参考訳（メタデータ） (2026-05-28T11:48:17Z) - Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
本稿では,視覚的審美性ベンチマーク (VAB) を提案する。
VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。
最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
論文 参考訳（メタデータ） (2026-05-12T19:33:28Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - HuBERT: Self-Supervised Speech Representation Learning by Masked
Prediction of Hidden Units [81.53783563025084]
本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。
提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。
HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
論文 参考訳（メタデータ） (2021-06-14T14:14:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。