論文の概要: Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases

• arxiv url: http://arxiv.org/abs/2608.10503v1
• Date: Tue, 11 Aug 2026 05:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.916365
• Title: Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases
• Title（参考訳）: トーケン数: LLMの姿勢とバイアスを測定するためのエクササイズ分布
• Abstract要約: 大規模言語モデル(LLM)の制御行動評価のための分析的正確なフレームワークを提案する。 因果的主因果的および相互作用的効果を系統的に分離するために,非構造的プロンプトを完全クロスファクター実験に置き換える。 我々は、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。 当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed as autonomous agents, accurately evaluating their latent values and biases is critical. The NLP community typically evaluates models using large, unstructured benchmarks. While effective for general capabilities, these datasets fundamentally conflate causal mechanisms: even when an aggregate bias is detected, unstructured evaluations cannot disentangle whether it stems from baseline traits, contextual confounders, or complex interactions. To address this, we introduce an analytically exact framework for the controlled behavioral evaluation of LLMs. We bridge human psychometrics with LLM mechanics by resolving gaps in design, measurement, and analysis. First, we replace unstructured prompting with fully crossed factorial experiments to systematically isolate causal main and interaction effects. Second, we eliminate Monte Carlo text sampling noise by operating directly on exact, token-level Probability Mass Functions (PMFs). Third, we derive a multivariate ordinal consensus metric and a distributional ANOVA to process these PMFs analytically. We validate our framework with a case study on consumer ethnocentrism across five LLMs, demonstrating how our approach isolates systemic country-of-origin biases that aggregate benchmarks otherwise obscure.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自律的なエージェントとしてますます多くデプロイされるため、その潜在値とバイアスを正確に評価することが重要である。 NLPコミュニティは通常、大きな非構造化ベンチマークを使用してモデルを評価する。 集約バイアスが検出されたとしても、非構造化評価は、それがベースライン特性、文脈的共同設立者、複雑な相互作用に由来するかどうかを判断できない。 そこで本研究では,LLMの制御行動評価のための分析的正確なフレームワークを提案する。 設計,測定,分析のギャップを解消し,人間の心理測定をLLMメカニクスで橋渡しする。 まず,非構造的プロンプトを完全交差因子実験に置き換えて,因果的主因果的および相互作用的効果を系統的に分離する。 第2に,トークンレベルの確率質量関数(PMF)を直接操作することで,モンテカルロのテキストサンプリングノイズを除去する。 第3に、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。 当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。

関連論文リスト

• Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation [47.29900218955283]
  相互情報推定は、機械学習と統計学における中心的な問題である。 既存のベンチマークでは、単純化された低次元分布上の推定器を評価し、複雑な現実的なデータに対する性能はほとんど探索されていない。 我々はこのギャップを、統一されたコプラ理論の観点から、包括的なベンチマークフレームワークで解決する。
  論文  参考訳（メタデータ） (2026-07-03T16:55:55Z)
• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• ActTraitBench: Quantifying the Knowledge-Decision Gap in Large Language Models via Human-Grounded Behavioral Validation [8.82034003345674]
  大規模言語モデル(LLM)は、明示的な自己報告でペルソナを確実にシミュレートするが、暗黙の行動決定においてしばしば逸脱する。 既存のベンチマークは、構成の妥当性の制限、多次元の絡み合い、分布バイアスのために、この非対称性を測定するのに苦労している。 本稿では,LLMの人格整合性を評価するための人為的評価フレームワークである ActTraitBench を提案する。
  論文  参考訳（メタデータ） (2026-05-28T11:40:35Z)
• Multi-Level Contextual Token Relation Modeling for Machine-Generated Text Detection [105.1403233464793]
  機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調する。 MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、複雑なモデルベース法よりも実用的であることが多い。 MGT検出のための多レベルコンテキストトークン関係モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-15T15:55:58Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• Skewed Score: A statistical framework to assess autograders [2.9645858732618238]
  LLM-as-a-judge"あるいはオートグラファーは、人間の評価に代わるスケーラブルな代替手段を提供する。 彼らは様々な信頼性を示し、体系的なバイアスを示すかもしれない。 そこで本稿では,研究者が自動分解器を同時に評価できる統計フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-04T18:45:10Z)
• Statistical Hypothesis Testing for Auditing Robustness in Language Models [49.1574468325115]
  本稿では,摂動解析を頻繁な仮説テスト問題として再検討するフレームワークである分布に基づく摂動解析を紹介する。 モンテカルロサンプリングを用いて低次元意味的類似性空間内に経験的ヌルおよび代替出力分布を構築する。 反応変化の定量化、正/偽の正率の測定、参照モデルとの整合性の評価について述べる。
  論文  参考訳（メタデータ） (2025-06-09T17:11:07Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。