論文の概要: Perceptually Aligned Evaluation of Style Transfer
- arxiv url: http://arxiv.org/abs/2610.10003v1
- Date: Wed, 07 Oct 2026 12:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.913954
- Title: Perceptually Aligned Evaluation of Style Transfer
- Title(参考訳): スタイル伝達の知覚的アライメント評価
- Abstract要約: ASTRAはスタイル転送アルゴリズムの自動評価手法である。
ASTRA-Dataは、コンテンツとスタイル参照のベンチマークイメージセットで構成されている。
ASTRA-Scoreは、コンテントスタイルのスティル化イメージトリプレットから好みに沿ったスコアを予測する評価器である。
- 参考スコア(独自算出の注目度): 56.37746690515596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Style transfer lacks a reliable evaluation standard: ground truth is inherently ill-defined, and existing automatic metrics often fail to reflect human preference. This paper introduces ASTRA (Assessment of Style TRansfer Algorithms), an approach for automatic evaluation of style transfer algorithms; it contains two components, ASTRA-Data and ASTRA-Score. ASTRA-Data consists of a benchmark image set of content and style references, a collection of style transfer results generated on the benchmark set, and user study data capturing human judgements through a two-stage pairwise comparison protocol. From these annotations, we derive ranking-based ground truth for content preservation, style fidelity, and overall preference. Based on ASTRA-Data, we construct ASTRA-Score, a learnt evaluator that predicts preference-aligned scores from content-style-stylization image triplets, enabling automatic and scalable evaluation of new models applied to the benchmark set. Experimental results demonstrate that ASTRA-Score achieves substantially higher correlation with human rankings compared to prior metrics. Overall, ASTRA establishes a robust mechanism for standardised evaluation of style transfer methods.
- Abstract(参考訳): 基本真理は本質的に不確定であり、既存の自動メトリクスは人間の好みを反映しないことが多い。
本稿では,スタイル転送アルゴリズムの自動評価手法であるASTRA(Assessment of Style TRansfer Algorithms)を紹介し,ASTRA-DataとASTRA-Scoreの2つのコンポーネントを含む。
ASTRA-Dataは、コンテントとスタイル参照のベンチマークイメージセットと、ベンチマークセット上で生成されたスタイル転送結果のコレクションと、2段階のペアワイズ比較プロトコルによる人間の判断をキャプチャするユーザスタディデータから構成される。
これらのアノテーションから、コンテンツ保存、スタイルの忠実さ、全体的な嗜好のランク付けに基づく基礎的真理を導出する。
AsTRA-Dataをベースとして,コンテントスタイルのスタイライズ画像三重項からの選好整合スコアを予測する学習評価器ASTRA-Scoreを構築し,ベンチマークセットに適用した新しいモデルの自動的かつスケーラブルな評価を可能にする。
実験結果から,ASTRA-Scoreは従来の指標に比べて人格との相関がかなり高いことがわかった。
全体として、ASTRAはスタイル転送手法の標準化評価のための堅牢なメカニズムを確立している。
関連論文リスト
- Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval [0.9354609712376276]
本稿では,高ボリュームスタッフリングにおけるセマンティックな候補-ジョブマッチングのための密着型埋め込みモデルの比較評価を行う。
MNRL (Cached Multiple Negatives Ranking Loss) を用いた EmbeddingGemma に対する EmbeddingGemma の評価を行った。
本稿では,汎用型埋め込みベンチマークと企業向けジョブ候補マッチング制約のギャップを解消し,現実的なジョブ候補検索条件下での埋め込み戦略を比較するための構造的基盤を提供する。
論文 参考訳(メタデータ) (2026-09-20T02:50:12Z) - When Preference Labels Fall Short: Aligning Diffusion Models from Real Data [65.80726604713614]
選好アライメントは、選好サンプルと非選好サンプルの比較から学習することで生成モデルを導くことを目的としている。
既存のアプローチのほとんどは、モデル生成画像から構築された選好ペアに依存している。
我々は、実際のデータが優先調整のための代替の監督源として機能するかどうかを考察する。
論文 参考訳(メタデータ) (2026-05-19T13:35:11Z) - ClaHF: A Human Feedback-inspired Reinforcement Learning Framework for Improving Classification Tasks [11.138973570127206]
テキスト分類のための人間によるフィードバックに基づく強化学習フレームワークであるClaHFを提案する。
ClaHFは、追加の人間のアノテーションを必要とせずに、好みのモデリングとRL最適化を分類パイプラインに統合する。
ClaHFは多様な言語モデル間での分類性能と信頼性校正の両方を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-05-17T14:00:01Z) - From Isolated Scoring to Collaborative Ranking: A Comparison-Native Framework for LLM-Based Paper Evaluation [12.13840753234467]
大規模言語モデル (LLM) は現在, 各論文に絶対スコアを独立に割り当てることで, 科学的論文評価に応用されている。
孤立スコアから協調ランキングへの紙評価のシフトを提案する。
当社のフレームワークは,強力なベースラインであるDeepReview-14Bに対して,textbf21.8%の平均相対的な改善を実現している。
論文 参考訳(メタデータ) (2026-03-18T10:55:02Z) - Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation [2.699704259580951]
テキストに基づく自動認知歪み検出は、主観的な性質のため難しい課題である。
一貫性のある信頼性のあるアノテータとしてLarge Language Models (LLM)の使用について検討する。
論文 参考訳(メタデータ) (2025-11-03T11:45:26Z) - Direct-Scoring NLG Evaluators Can Use Pairwise Comparisons Too [42.13843953705695]
本稿では,合成要約を用いて,テスト時に一対のマシンランキングとして機能するダイレクトスコーリング手法を提案する。
提案手法は, 軸平均試料レベルの相関関係から, 最先端のペアワイズ評価器と同等に動作することを示す。
論文 参考訳(メタデータ) (2025-09-05T18:48:34Z) - Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
我々はHyPERを紹介した。HyPERは、人間または言語モデル(LM)にアノテーションを付与するハイブリッド推論ルータである。
その結果,HyPERを用いた人工選好と直接選好の混合は,RewardBenchでは7-13%しか使用せず,RM性能が向上していることがわかった。
また、HyPERの機能を分析した結果、安全上の懸念や複雑さが人間のフィードバックから最も恩恵を受けていることがわかりました。
論文 参考訳(メタデータ) (2024-10-24T20:04:15Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。