論文の概要: Adapting LLM-SC to Living Sacred Heritage: Domain-Specific Extraction, Semantic Networks and Human Evaluation on Pashupatinath Temple Reviews
- arxiv url: http://arxiv.org/abs/2610.35685v2
- Date: Fri, 30 Oct 2026 14:20:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.362313
- Title: Adapting LLM-SC to Living Sacred Heritage: Domain-Specific Extraction, Semantic Networks and Human Evaluation on Pashupatinath Temple Reviews
- Title（参考訳）: LLM-SCを生きた聖遺産に適応する:ドメイン特化抽出、セマンティックネットワーク、パシュパティナート寺院のレビューにおける人的評価
- Abstract要約: LLM-Social ComputingフレームワークをネパールのPashupatinath寺に導入し,12種類の実体分類を規定した。
輸出には11,286のエンティティ,6,232のアスペクトセンチメント,5,590の関連レコードがあり,それぞれ2,485,2,487,2,433のレビューをカバーしている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) pipelines can turn visitor reviews into structured data, but generic schemes may miss rituals, sacred spaces, cultural restrictions and emotionally mixed experiences at living sacred heritage sites. We adapted the LLM-Social Computing (LLM-SC) framework to Pashupatinath Temple, Nepal, by specifying a 12-type entity taxonomy (four original LLM-SC types plus eight sacred-heritage types), four relation types and nine aspect-sentiment dimensions in a GPT-4o extraction prompt, which was applied to a fixed random sample of 2,500 English-language Tripadvisor reviews from a processed corpus of 3,939. The exports contain 11,286 entity, 6,232 aspect-sentiment and 5,590 relation records, covering 2,485, 2,487 and 2,433 reviews, respectively; the eight added sacred-heritage types account for 64.8% of entity records. Against an adjudicated two-annotator reference for 200 reviews, exact normalized surface-and-type matching gave provisional entity scores of 41.0% precision, 21.8% recall and 28.4% micro-F1. Aspect-presence F1 was 53.6% and end-to-end aspect-plus-polarity F1 was 42.6%. Human adjudication supported 153 of 194 first-listed relation candidates (one per review; 78.9%), a candidate-level rate that does not estimate relation recall or whole-graph precision. The contribution is a culturally grounded, domain-specific adaptation with component-wise human evaluation and explicit reproducibility and generalization limitations.
- Abstract（参考訳）: 大型言語モデル(LLM)パイプラインはビジターレビューを構造化されたデータに変換することができるが、一般的なスキームは儀式、神聖な空間、文化的な制約、生きた神聖な遺産での感情的な混合体験を見逃す可能性がある。
LLM-Social Computing (LLM-SC) フレームワークをネパールのPashupatinath寺に適応し,12種類の実体分類(LLM-SC型4種類,神聖な遺伝型8種類)と4つの関係型と9つの側面感性次元をGPT-4o抽出プロンプトで指定した。
11,286のエンティティ、6,232のアスペクトセンチメント、5,590の関連レコードがあり、それぞれ2,485, 2,487, 2,433のレビューをカバーしている。
200のレビューの2つの注釈付き参照に対して、正確な正規化面と型マッチングにより、暫定的なエンティティスコアは41.0%の精度、21.8%のリコール、28.4%のマイクロF1となった。
アスペクトプレゼンスF1は53.6%、エンド・ツー・エンドのアスペクトプラス極性F1は42.6%である。
人間の偏見は、194人のうち153人(レビューごとに1人、78.9%)が、関係のリコールや全グラフの精度を見積もらない候補レベルの比率を支持した。
この貢献は、文化的に根ざしたドメイン固有の適応であり、コンポーネントワイドな人的評価と明示的な再現性と一般化の制限がある。
関連論文リスト
- X-Embedding: Two-Stage Training for Multilingual Patent Prior-Art Retrieval [6.709178165347622]
X-Embeddingは特許ドメイン表現を学習し、Xカテゴリ検索の妥当性を最適化するフレームワークである。
X埋め込みは、請求項発明の新規性又は発明的ステップに特に関係するXカテゴリー参照を識別することができる。
論文 参考訳（メタデータ） (2026-10-21T10:07:22Z) - Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration [0.0]
ベンチマークには、19の品質指標を7次元に分類した494のラベル付きソースペアが含まれている。
地下の真実は推論から機械的に封印され、カナリアおよびラベル置換テストでチェックされる。
論文 参考訳（メタデータ） (2026-10-08T22:35:57Z) - Annotated Surrogate Retrieval for Polish Statutory Law [0.0]
本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。
2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
論文 参考訳（メタデータ） (2026-08-31T15:05:00Z) - CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia [72.20656906184539]
カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。
その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。
人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
論文 参考訳（メタデータ） (2026-08-28T14:56:46Z) - Subject-Level Heterogeneity in EEG Motor Imagery Decoding: A Large-Scale Benchmark and Portfolio-Based Reduction of the Search Space [0.0]
3つの公開データセットにまたがるデコードパイプラインの大規模、標準化されたセッション内ベンチマークを示す。
得られた216,714個の生のアグリゲーション列を解析したところ, それぞれ44,928個, 109,000個, 4,192個の主観値が得られた。
次に、ベンチマークを、Kサイズのパイプラインのコンパクトなポートフォリオを構築するための実証的なパフォーマンスランドスケープとして使用しました。
論文 参考訳（メタデータ） (2026-07-24T08:55:28Z) - The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。
まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。
第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。
第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文 参考訳（メタデータ） (2026-04-22T06:19:46Z) - CORE: Comprehensive Ontological Relation Evaluation for Large Language Models [0.9668495520241466]
大規模言語モデル(LLM)は多くの推論ベンチマークでよく機能するが、既存の評価では意味のある意味的関係と真の非関連性を区別する能力を評価することは滅多にない。
74の分野にまたがる225万質問のデータセットであるCORE(Comprehensive Ontological Relation Evaluation, 総合オントロジー関係評価)を紹介する。
1000人以上の参加者のヒトのベースラインは92.6%の精度(関係のないペアの95.1%)を達成する
論文 参考訳（メタデータ） (2026-02-06T07:16:33Z) - Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。
モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
論文 参考訳（メタデータ） (2024-01-08T20:08:04Z) - Prometheus: Inducing Fine-grained Evaluation Capability in Language
Models [66.12432440863816]
我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。
プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。
Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
論文 参考訳（メタデータ） (2023-10-12T16:50:08Z) - Text Classification via Large Language Models [63.1874290788797]
テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。
注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。
さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
論文 参考訳（メタデータ） (2023-05-15T06:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。