論文の概要: A Cognitively Motivated Multidimensional Framework for Evaluating Metaphor Explanations
- arxiv url: http://arxiv.org/abs/2608.15828v1
- Date: Sun, 16 Aug 2026 16:02:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.436331
- Title: A Cognitively Motivated Multidimensional Framework for Evaluating Metaphor Explanations
- Title（参考訳）: メタファー記述評価のための認知的動機付け多次元フレームワーク
- Abstract要約: メタファーの説明的質を6つの理論的基礎的な次元に分解する認知的動機付けの枠組みを導入する。
多次元評価は、総合的な評価よりも豊かな診断的洞察を提供する。
- 参考スコア（独自算出の注目度）: 1.6791349367358268
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Current evaluation of metaphor explanations relies mainly on holistic quality ratings, revealing little about how explanation quality is structured or where human judgments agree and diverge. We introduce a cognitively motivated framework that decomposes metaphor explanation quality into six theoretically grounded dimensions. In a dense annotation study (11,200 ratings), we find that: {\bfseries(i)} explanation quality is genuinely multidimensional; {\bfseries(ii)} annotator disagreement is systematic rather than random; and {\bfseries(iii)} the six dimensions collapse into a shared cluster and two independent axes of judgment. An exploratory feasibility study further shows that a standard automatic evaluation pipeline can recover parts of this structure, predicting the most discriminative dimensions well while its errors correlate human (dis)agreement. Together, these results suggest that multidimensional evaluation offers richer diagnostic insight than holistic ratings, and that automatic evaluators for open-ended generation tasks should be judged on how well they preserve the structure of human judgment.
- Abstract（参考訳）: メタファーの説明の現在の評価は、主に全体論的な品質評価に依存しており、説明の質がどのように構成されているか、人間の判断がどう一致して分岐するかについてはほとんど明らかにしていない。
メタファーの説明的質を6つの理論的基礎的な次元に分解する認知的動機付けの枠組みを導入する。
密集した注釈研究 (11,200 レーティング) では、以下のことが分かる。
(i) 説明品質は真に多次元である; {\displaystyle {\bfseries
(ii)アノテータの不一致はランダムではなく体系的である;および
(iii) 6次元は共有クラスタと2つの独立した判断軸に崩壊する。
探索的実現可能性の研究により、標準的な自動評価パイプラインがこの構造の一部を復元し、その誤差が人間の(不)認識と相関している間に最も識別可能な寸法を予測できることが示されている。
これらの結果は,多次元評価が全体的評価よりも豊かな診断的洞察を与え,人的判断の構造をいかに保存するかを自動評価するべきであることを示唆している。
関連論文リスト
- Representing Entity Importance in AI Knowledge Systems: A Dual-Signal Framework of Audience Evaluation and Structural Authority [0.0]
AI知識システムは、検索、レコメンデーション、エビデンスの選択、知識集約推論のために、エンティティの重要性の表現を必要とする。
本研究では,各実体がオーディエンス次元と構造的オーソリティ次元によって特徴づけられる解釈可能な二重信号表現を提案する。
その結果、観客の評価と構造的権威は非冗長な信号であり、自動的に重要性の単一の概念に分解するべきではないことがわかった。
論文 参考訳（メタデータ） (2026-07-23T05:06:09Z) - Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation [80.99003754614365]
統一マルチモーダルモデルにおける共同理解と生成を評価するためのベンチマークであるUnisonを紹介する。
Unisonは2,169の高品質な統合タスクサンプルで構成されている。
また,人間の判断に適合した評価モデルであるUnison-Judgeを紹介する。
論文 参考訳（メタデータ） (2026-06-25T12:58:54Z) - Disagreeing Rationales: Rethinking Classification and Explainability Evaluation in Hate Speech Detection [31.767606394291857]
多様なモデル、トレーニング戦略、損失関数、評価指標を単一のプロトコルで統一する。
分類および説明可能性指標間のモデル行動を評価するとともに,ラベルの選択に対する指標感度を評価する。
結果は、硬度と軟度の両方が、より柔らかい表現を好むことを示している。
論文 参考訳（メタデータ） (2026-05-29T17:29:28Z) - A Persona-Based Evaluation Framework for Pluralistic Alignment in Generative AI [0.0]
本稿では,AI評価のための状態空間制約付きエミュレーションフレームワークを提案する。
現代の生成的アーキテクチャは、これらの評価的ペルソナを高一貫性でインスタンス化し、維持することができることを示す。
この研究は、AI評価に対するより適応的で、人間に順応し、文脈に敏感なアプローチの基礎を提供する。
論文 参考訳（メタデータ） (2026-05-29T08:54:09Z) - Dimension-Level Intent Fidelity Evaluation for Large Language Models: Evidence from Structured Prompt Ablation [0.585480332059272]
全体的評価スコアは、全体の出力品質をキャプチャするが、モデルがユーザの要求の構造形式を再現したかどうかを区別しない。
本稿では,2,880個の出力に対して構造化されたプロンプトアブレーション研究を通じて,次元レベルのインテント忠実度評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-14T08:00:23Z) - ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review [48.60540055009675]
ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。
We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
論文 参考訳（メタデータ） (2026-01-30T06:54:55Z) - Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations [16.045822460720363]
基準フレーム$times$ Granularity (RFxG) の分類について紹介する。
RFxGは2つの本質的な軸に沿ってサリエンシの説明を整理する: 参照フレーム: ポイントワイズ(なぜこの予測は?)とコントラスト的(なぜこの予測は代替ではないのか?
我々の総合的な評価フレームワークは、これらのメトリクスを10の最先端の正当性メソッド、4つのモデルアーキテクチャ、3つのデータセットに適用します。
論文 参考訳（メタデータ） (2025-11-17T07:29:25Z) - RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。
RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。
現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
論文 参考訳（メタデータ） (2025-09-29T15:07:28Z) - When Does Pruning Benefit Vision Representations? [6.306016476757605]
プルーニングは深層学習モデルの複雑さを軽減するために広く用いられているが、解釈可能性や表現学習への影響はいまだに理解されていない。
本稿では,3つの重要な次元,すなわち (i) 解釈可能性, (ii) 教師なし物体発見, (iii) 人間の知覚との整合性において,プルーニングが視覚モデルにどのように影響するかを考察する。
論文 参考訳（メタデータ） (2025-07-02T13:57:49Z) - The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。
スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。
本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
論文 参考訳（メタデータ） (2024-12-15T10:34:06Z) - Quantifying Learnability and Describability of Visual Concepts Emerging
in Representation Learning [91.58529629419135]
我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。
本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
論文 参考訳（メタデータ） (2020-10-27T18:41:49Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。