論文の概要: Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation

• arxiv url: http://arxiv.org/abs/2608.06955v1
• Date: Fri, 07 Aug 2026 08:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.416354
• Title: Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
• Title（参考訳）: 大規模言語モデルにおける批判的評価オリエンテーション--映画優先の引用から
• Abstract要約: 大規模言語モデルが評価階層を再現するかどうかを検討する。 すべてのモデルと一貫した批判的な評価の方向性を見いだす。 評価的かつレコメンデーション指向のプロンプトフレーミングは、異なるランクを生み出す。
• 参考スコア（独自算出の注目度）: 1.0169732531293283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are trained on corpora that contain expressions of human judgment about films, books, music, and more. Yet whether LLMs systematically reproduce evaluative hierarchies remains unclear. Prior research on cultural bias in LLMs suggests competing expectations: models may mirror the popularity signals of internet texts, or may reproduce forms of prestige embedded in critical discourse. We probe this question through a study of film evaluations with eight models from four families (Anthropic, OpenAI, Alibaba, and Mistral), using a 200-film benchmark partitioned into critically acclaimed, commercially successful, and dual-legitimacy (critical acclaim + commercial success) films. Across 20,000 pairwise forced-choice comparisons per model analyzed with Bradley--Terry estimation, we observe a consistent critical acclaim orientation with all models: critically acclaimed yet commercially obscure films are selected over commercially successful yet critically unrecognized ones. This pattern grows with model scale within each family. In addition, nested OLS regression analyses show that evaluative orientation, public visibility, and popular reception distinctly help explain preferences. Adjusting for public visibility reverses the models' preference for dual-legitimacy films over critical acclaim-only films, while additionally accounting for popular reception attenuates much of the disadvantage of films with commercial success only. Finally, evaluative and recommendation-oriented prompt framings produce divergent rankings, suggesting that critical acclaim orientation may manifest indirectly in real-world LLM deployments.
• Abstract（参考訳）: 大型言語モデル(LLM)は、映画、書籍、音楽などについての人間の判断の表現を含むコーパスで訓練される。 しかし、LLMが体系的に評価階層を再現するかどうかは不明である。 LLMの文化バイアスに関する以前の研究は、競合する期待を示唆している: モデルはインターネットテキストの人気シグナルを反映するか、あるいは批判的な言説に埋め込まれた名誉の形式を再現するかもしれない。 我々は,200フィルムのベンチマークを批判的に評価され,商業的に成功し,二重正当性(批判的評価と商業的成功)に分割した4つのファミリー(Anthropic, OpenAI, Alibaba, Mistral)の8つのモデルによるフィルム評価を調査した。 Bradley-Terry 法によるモデル毎の2万対の強制選択比較--Terry 推定では、すべてのモデルと一貫した批判的な評価指向が観察される: 批判的に評価されるが商業的に不明瞭な映画は商業的に成功しているが、批判的に認識されていないものよりも選択される。 このパターンは、各ファミリー内のモデルスケールで成長します。 さらに、ネストされたOLS回帰分析は、評価指向、公開可視性、そして人気のある受信が、明らかに好みを説明するのに役立つことを示している。 大衆の視界の調整は、批判的な評価のみの映画よりも二重相対性映画の好みを逆転させる一方、大衆のレセプションは商業的成功を収めた映画の不利益の多くを減らしている。 最後に、評価的かつレコメンデーション指向のプロンプトフレーミングは、現実のLLMデプロイメントにおいて、批判的な評価指向が間接的に現れる可能性があることを示唆している。

関連論文リスト

• Counterfactual LLM-based Framework for Measuring Rhetorical Style [15.917819866091191]
  本稿では,機械学習論文の実体的内容から修辞的スタイルを遠ざけるための,反実的LLMベースのフレームワークを提案する。 2017年から2025年にかけてサンプリングされた8,485 ICLRへのこの手法の適用により、25万件以上の偽造書を生成する。 視線フレーミングは、ピアレビュー評価を制御した後でも、引用やメディアの注意を含む下流の注意を著しく予測する。
  論文  参考訳（メタデータ） (2025-12-22T22:22:46Z)
• A Comprehensive Study of Implicit and Explicit Biases in Large Language Models [1.0555164678638427]
  この研究は、生成的AIが増大する中で、大規模言語モデルにおけるバイアスに対処する必要があることを強調する。 我々は, StereoSet や CrowSPairs などのバイアス特異的ベンチマークを用いて,BERT や GPT 3.5 といった複数の生成モデルにおける様々なバイアスの存在を評価する。 その結果、微調整されたモデルでは性別バイアスに悩まされるが、人種バイアスの特定と回避には優れていた。
  論文  参考訳（メタデータ） (2025-11-18T05:27:17Z)
• Which Cultural Lens Do Models Adopt? On Cultural Positioning Bias and Agentic Mitigation in LLMs [53.07843733899881]
  大規模言語モデル(LLM)は、幅広い下流生成アプリケーションをアンロックした。 また、米国主流の文化の観点から、文化にまつわる微妙な公平性の問題に対処し、世代を配置するリスクも見いだす。 本稿では、これらのバイアスを解決するための2つの推論時間緩和法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T12:28:25Z)
• Identifying Fine-grained Forms of Populism in Political Discourse: A Case Study on Donald Trump's Presidential Campaigns [17.242754326635833]
  本稿では,大言語モデルがポピュリズムの微細な形態を識別し,分類できるかどうかを検討する。 オープンウェイトとプロプライエタリの両方で、複数のプロンプトパラダイムで事前訓練された(大規模な)言語モデルを評価する。 微調整のRoBERTa分類器は、微調整のない限り、新しい命令のLLMをはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-07-25T14:18:54Z)
• The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement [61.00950725408354]
  大規模言語モデル(LLM)は、最近、テキストベースのアシスタントから、計画、推論、反復的な行動改善が可能な自律エージェントへと変化した。 本研究では,環境を探索するアクターモデルと,詳細な自然言語フィードバックを生成する批評家モデルからなる,新しい2人プレイヤフレームワークであるCGIを紹介する。
  論文  参考訳（メタデータ） (2025-03-20T10:42:33Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Are Large Language Models Reliable Judges? A Study on the Factuality Evaluation Capabilities of LLMs [8.526956860672698]
  大きな言語モデル(LLM)は、その顕著な能力のために注目を集めている。 本研究では,テキスト生成モデルにより生成された要約における事実整合性の信頼性評価としてのLCMの可能性について検討する。
  論文  参考訳（メタデータ） (2023-11-01T17:42:45Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。