論文の概要: Event-Centric Human Value Understanding in News-Domain Texts: An Actor-Conditioned, Multi-Granularity Benchmark
- arxiv url: http://arxiv.org/abs/2603.17838v1
- Date: Wed, 18 Mar 2026 15:31:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.795855
- Title: Event-Centric Human Value Understanding in News-Domain Texts: An Actor-Conditioned, Multi-Granularity Benchmark
- Title(参考訳): ニュースドメインテキストにおける事象中心的人的価値理解:アクター定義多義性ベンチマーク
- Authors: Yao Wang, Xin Liu, Zhuochen Liu, Jiankang Chen, Adam Jatowt, Kyoungsook Kim, Noriko Kando, Haitao Yu,
- Abstract要約: textbfNEVU (textbfNews textbfEvent-centric textbfValue textbfUnderstanding) は,実ニュースにおける強調因子に依存しない,エフェヴェント中心で,かつ,間接的認識を意識した人的価値認識のためのベンチマークである。
NEVUは、モデルが値キューを識別し、それらを正しいアクターに属性し、根拠付きエビデンスから値方向を決定することができるかどうかを評価する。
- 参考スコア(独自算出の注目度): 22.290459075590324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing human value datasets do not directly support value understanding in factual news: many are actor-agnostic, rely on isolated utterances or synthetic scenarios, and lack explicit event structure or value direction. We present \textbf{NEVU} (\textbf{N}ews \textbf{E}vent-centric \textbf{V}alue \textbf{U}nderstanding), a benchmark for \emph{actor-conditioned}, \emph{event-centric}, and \emph{direction-aware} human value recognition in factual news. NEVU evaluates whether models can identify value cues, attribute them to the correct actor, and determine value direction from grounded evidence. Built from 2{,}865 English news articles, NEVU organizes annotations at four semantic unit levels (\textbf{Subevent}, \textbf{behavior-based composite event}, \textbf{story-based composite event}, and \textbf{Article}) and labels \mbox{(unit, actor)} pairs for fine-grained evaluation across local and composite contexts. The annotations are produced through an LLM-assisted pipeline with staged verification and targeted human auditing. Using a hierarchical value space with \textbf{54} fine-grained values and \textbf{20} coarse-grained categories, NEVU covers 45{,}793 unit--actor pairs and 168{,}061 directed value instances. We provide unified baselines for proprietary and open-source LLMs, and find that lightweight adaptation (LoRA) consistently improves open-source models, showing that although NEVU is designed primarily as a benchmark, it also supports supervised adaptation beyond prompting-only evaluation. Data availability is described in Appendix~\ref{app:data_code_availability}.
- Abstract(参考訳): その多くはアクターに依存しず、孤立した発話や合成シナリオに依存しており、明示的なイベント構造やバリュー方向が欠如している。
本稿では,emph{actor-conditioned}, \emph{event-centric}, \emph{actor-conditioned}, \emph{actor-centric}, \emph{direction-aware}による実ニュースにおける人的価値認識のベンチマークとして, textbf{NEVU}(\textbf{N}ews \textbf{E}vent-centric \textbf{V}alue \textbf{U}nderstanding)を提案する。
NEVUは、モデルが値キューを識別し、それらを正しいアクターに属性し、根拠付きエビデンスから値方向を決定することができるかどうかを評価する。
NEVUは2{,}865の英語ニュース記事から構築され、4つの意味単位レベル(\textbf{Subevent}, \textbf{behavior-based Composite Event}, \textbf{story-based Composite Event}, \textbf{Article})でアノテーションを整理し、ローカルコンテキストと複合コンテキストをまたいで詳細な評価を行う。
アノテーションは、段階的検証と対象とする人間の監査を備えたLCM支援パイプラインを通じて作成される。
NEVU は \textbf{54} の微細な値と \textbf{20} の粗粒度のカテゴリを持つ階層的値空間を用い、45{,}793 の単位ベクトル対と 168{,}061 の有向値インスタンスをカバーしている。
我々は,プロプライエタリかつオープンソース LLM の統一ベースラインを提供し,軽量適応 (LoRA) はオープンソースモデルを一貫して改善し,NEVU は主としてベンチマークとして設計されているが,教師付き適応もサポートしていることを示す。
データ可用性はAppendix~\ref{app:data_code_availability}で説明されます。
関連論文リスト
- Listening with the Eyes: Benchmarking Egocentric Co-Speech Grounding across Space and Time [36.493701506207806]
我々は,高密度空間アノテーションとミリ秒レベルの脳卒中管理を備えたtextbf811エゴセントリッククリップの診断ベンチマークである textbfEcoG-Bench を提案する。
最先端MLLMのベンチマークでは、厳しい実行可能性のギャップが明らかになっている。
マルチモーダルインタフェースは、モデル推論とは独立して、時間的アライメントキューの可観測性をボトルネックにする可能性がある。
論文 参考訳(メタデータ) (2026-03-09T05:08:02Z) - Text2Stories: Evaluating the Alignment Between Stakeholder Interviews and Generated User Stories [10.591919727046017]
テキスト間アライメントのためのタスクとメトリクスであるText2Storiesを紹介する。
我々の測定基準は、書き起こしによって支持されるストーリーの割合と(ii)完全性、少なくとも1つのストーリーで支持される書き起こしの割合を定量化します。
4つのデータセットに対する実験により、LLMベースのマーカが保持されたアノテーション上で0.86マクロF1を達成することが示された。
論文 参考訳(メタデータ) (2025-10-08T09:12:57Z) - VisMin: Visual Minimal-Change Understanding [7.226130826257802]
Visual Minimal-Change Understanding (VisMin)と呼ばれる新しい挑戦的なベンチマークを導入する。
VisMinは、2つの画像と2つのキャプションによって正しい画像キャプチャマッチを予測するモデルを必要とする。
我々は,大規模言語モデルと拡散モデルを用いた自動フレームワークを構築し,続いて人間のアノテーションによる厳密な4段階の検証プロセスを構築した。
論文 参考訳(メタデータ) (2024-07-23T18:10:43Z) - UFineBench: Towards Text-based Person Retrieval with Ultra-fine Granularity [50.91030850662369]
既存のテキストベースの人物検索データセットは、しばしば比較的粗い粒度のテキストアノテーションを持つ。
これにより、実際のシナリオにおけるクエリテキストのきめ細かいセマンティクスを理解するモデルが妨げられます。
我々は,超微細な人物検索のためにtextbfUFineBench という新しいベンチマークを作成した。
論文 参考訳(メタデータ) (2023-12-06T11:50:14Z) - Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。
最終事実度スコアは、調整可能なスコアリング機構により算出される。
英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
論文 参考訳(メタデータ) (2023-05-22T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。