論文の概要: Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers

• arxiv url: http://arxiv.org/abs/2607.13304v1
• Date: Tue, 14 Jul 2026 22:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.598277
• Title: Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers
• Title（参考訳）: 騒音はどこから来るのか : LLMブランド回答における非決定性の分散
• Abstract要約: 大きな言語モデルがブランドを推奨するかどうかを測定するチームは、問題に直面します。 評価されたブランドスコアは、少なくとも4つの分離可能な理由(即時再サンプリング、フレーズのプロンプト、モデルアイデンティティ、クエリ言語)で動きます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teams measuring whether large language models (LLMs) recommend a brand face a reproducibility problem: ask the same question twice and the answer moves. Practice resamples each prompt a few times (commonly five) and averages, treating within-prompt resampling as the source of the noise. But a measured brand score moves for at least four separable reasons: within-prompt resampling, prompt paraphrase, model identity, and query language. We specify a crossed random-effects (generalizability-theory) decomposition that partitions the total variance of a response-level brand outcome into these four sources, and embed the components in a decision-study allocation that returns how many repeats, paraphrases, models, and languages to buy for a target reliability. We apply it to a fully crossed corpus of 12,933 LLM responses on 20 Central and Eastern European brands, 8 languages, and 3 models (GPT-5.2 and Gemini 3 Flash in parametric mode, Perplexity in grounded retrieval), with a stability subset of 1,435 cells resampled about five times. The outcome is per-response multilingual sentiment polarity. Query language is the largest systematic facet (26.5% of the variance of one response) against 1.5% for brand identity (ICC 0.0146), so a single AI answer carries almost no brand-discriminating signal. Once a cell term isolates pure resampling, resampling is 34.8% of variance and the brand-in-context interaction 29.6%; brand-by-language is 8.6% (a bilingual penalty) while brand-by-model and brand-by-prompt are near zero. Per unit of query budget, adding languages and models reduces relative-error variance far more than adding repeats: a repeat past the fifth reduces it by only 0.0003. Brand-ranking reliability stays low, near 0.01 for a single answer and about 0.36 at the full crossed design, so reliability is bought by spreading across languages and models, not by repeating one prompt.
• Abstract（参考訳）: 大きな言語モデル(LLM)がブランドを推奨するかどうかを測定するチームは、再現性の問題に直面します。 練習は、それぞれに数回(通常5回)のプロンプトと平均値を与え、ノイズの源としてプロンプト内再サンプリングを扱います。 しかし、測定されたブランドスコアは、少なくとも4つの分離可能な理由で動きます。 応答レベルのブランド結果の総分散をこれら4つのソースに分割するクロスランダムエフェクト(一般化可能性理論)分解を指定し、そのコンポーネントを目的の信頼性のために購入するリピート、パラフレーズ、モデル、言語を返却する決定-スタディアロケーションに埋め込む。 中央ヨーロッパ20ブランド,東欧8言語,および3モデル(GPT-5.2およびGemini 3 Flashのパラメトリックモード,グラウンドド検索におけるパープレキシティ)に対する12,933 LLM応答の完全交差コーパスに適用し,安定性サブセットの1,435セルを約5回再サンプリングした。 結果は、応答ごとの多言語感性極性である。 クエリ言語は、ブランドアイデンティティ(ICC 0.0146)の1.5%に対して、1つの応答の26.5%が最大の体系的側面である。 細胞用語が純粋な再サンプリングを分離すると、再サンプリングは34.8%のばらつきと29.6%のブランド・イン・コンテクスト相互作用を持ち、ブランド・バイ・ランゲージは8.6%(バイリンガルペナルティ)、ブランド・バイ・モデルとブランド・バイ・プロンプトは0に近い。 クエリ予算単位当たり、言語とモデルを追加することで、リピートを追加するよりも、相対エラーの分散がはるかに少なくなります。 ブランドレベルの信頼性は低いままで、1つの回答で0.01近く、完全なクロスデザインで約0.36であるので、信頼性は1つのプロンプトを繰り返すことでではなく、言語やモデルにまたがることによって購入される。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations [0.0]
  我々は,ブランドレコメンデーションの繰り返し監査のための再利用可能なプロトコルとして,Dice Roll Methodを定式化した。 D-studyでは、探索、確認、厳密な3段階のイテレーションガイダンスが登場している。 3つの独立したコーパスに対する事前登録された外部検証は、障害のない39細胞のうち37細胞においてD-studyの信頼性予測を再現する。
  論文  参考訳（メタデータ） (2026-09-03T16:22:06Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• SimpleStrat: Diversifying Language Model Generation with Stratification [26.933029655072488]
  それまでのアプローチは、多様性を高めるために温度の上昇に依存していた。 温度が上昇するにつれて、このアプローチは低い品質の個々の世代を生み出すことを示す。 言語モデル自体を使って空間を成層体に分割する代替手法であるSimpleStratを提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:54:14Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)
• Self-Consistency Improves Chain of Thought Reasoning in Language Models [53.45015291520658]
  我々は,大規模言語モデルの推論精度を大幅に向上させる,単純なアンサンブル戦略,自己整合性を探究する。 算術的および常識的推論ベンチマークでは、自己整合性は大幅な精度の向上をもたらす。
  論文  参考訳（メタデータ） (2022-03-21T17:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。