論文の概要: From annotation to reasoning: Culture in language models

• arxiv url: http://arxiv.org/abs/2609.30897v1
• Date: Fri, 25 Sep 2026 07:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.264057
• Title: From annotation to reasoning: Culture in language models
• Title（参考訳）: 注釈から推論へ:言語モデルにおける文化
• Abstract要約: 我々は、文学的解釈がこれらの能力を研究するのに役立つと論じる。 我々の中心的な主張は、文学者がその支援の質を認識しながら解釈に異を唱えることができるということである。 本稿では,エビデンス中心のベンチマーク,学術的不一致を抑える評価,文献データ,文脈資源,学術的フィードバックに関するモデル開発実験のリンクを提案する。
• 参考スコア（独自算出の注目度）: 51.02064693757239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How should we evaluate language models when more than one interpretation can be right? Cultural benchmarks often test factual knowledge, agreement with survey responses, or recognition of a predefined meaning. These tasks leave open whether a model can explain how a cultural reference works in a particular text, support a reading with evidence, or revise it after criticism. This is a question of interpretive depth, complementary to the breadth of cultural coverage. We argue that literary interpretation offers a useful setting for studying these capabilities. We focus on cultural referencing and reuse: how texts invoke, repeat, and transform earlier expressions across historical and linguistic contexts. Our central claim is that literary scholars can disagree about an interpretation while recognizing the quality of its support. We propose linking evidence-centered benchmarks, evaluation that preserves scholarly disagreement, and model-development experiments on literary data, contextual resources, and scholarly feedback. Danish literature provides a concrete starting point, with implications for other languages and domains. The aim is to develop alternative evaluation strategies that go beyond conventional benchmark metrics and guide model development toward cultural robustness in AI systems.
• Abstract（参考訳）: 複数の解釈が正しい場合、言語モデルをどのように評価すべきか? 文化ベンチマークは、事実の知識、調査回答との合意、あるいは事前に定義された意味の認識をテストすることが多い。 これらのタスクは、モデルが特定のテキストで文化的な参照がどのように機能するかを説明したり、エビデンスで読むことを支援したり、批判の後にそれを修正できるかどうかを公開のままである。 これは文化的な範囲の広さを補完する解釈的な深さの問題である。 我々は、文学的解釈がこれらの能力を研究するのに役立つと論じる。 我々は、過去の表現を歴史的・言語的文脈でどのように呼び起こし、繰り返し、変換するかという、文化的参照と再利用に焦点をあてる。 我々の中心的な主張は、文学者がその支援の質を認識しながら解釈に異を唱えることができるということである。 本稿では,エビデンス中心のベンチマーク,学術的不一致を抑える評価,文献データ,文脈資源,学術的フィードバックに関するモデル開発実験のリンクを提案する。 デンマーク文学は、他の言語や領域に影響を及ぼす具体的な出発点を提供する。 目的は、従来のベンチマーク指標を超えて、AIシステムの文化的堅牢性に向けたモデル開発をガイドする代替評価戦略を開発することである。

関連論文リスト

• AmharicStoryQA: A Multicultural Story Question Answering Benchmark in Amharic [25.361090310093072]
  評価は一つの言語に存在する有意義な文化的変化を見落としていると論じる。 アンハラ語話者の文化的多彩な物語に基づくベンチマークであるtextbftextitAmharicStoryQAを紹介する。
  論文  参考訳（メタデータ） (2026-02-02T20:28:19Z)
• CURE: Cultural Understanding and Reasoning Evaluation - A Framework for "Thick" Culture Alignment Evaluation in LLMs [24.598338950728234]
  大規模言語モデル(LLM)は、文化的に多様な環境にますます展開されている。 既存の方法は、非文脈的正当性や強制選択判断に重点を置いている。 現実的な状況下でモデルを提示するベンチマークのセットを紹介する。
  論文  参考訳（メタデータ） (2025-11-15T03:39:13Z)
• The Persistence of Cultural Memory: Investigating Multimodal Iconicity in Diffusion Models [2.9793019246605676]
  静的および動的画像にまたがる767のウィキデータ由来の文化的参照にまたがる5つの拡散モデルを評価する。 私たちの研究は、拡散モデルの価値は、それらが再現するものだけでなく、文化的な知識を変換し、再テクスチャ化する方法にも関係していることを明らかにします。
  論文  参考訳（メタデータ） (2025-11-14T16:03:10Z)
• Multilingual Vision-Language Models, A Survey [0.9722250595763385]
  本研究では,言語間でテキストや画像を処理する多言語視覚言語モデルについて検討する。 エンコーダのみおよび生成アーキテクチャにまたがる31のモデルと21のベンチマークをレビューする。
  論文  参考訳（メタデータ） (2025-09-26T09:46:13Z)
• KULTURE Bench: A Benchmark for Assessing Language Model in Korean Cultural Context [5.693660906643207]
  韓国文化に特化して設計された評価フレームワークであるKULTURE Benchを紹介する。 言語モデルの文化的理解と、単語、文、段落レベルでの推論能力を評価するように設計されている。 その結果,韓国文化のより深い側面に関連する文章の理解は,依然として改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-12-10T07:20:51Z)
• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。