論文の概要: Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items

• arxiv url: http://arxiv.org/abs/2610.40241v1
• Date: Thu, 29 Oct 2026 15:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 07:51:58.953892
• Title: Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
• Title（参考訳）: 企業における判断: LLMの検証は、他の項目に依存する
• Abstract要約: フリップレートは、正確に順序、スロット、およびメンバーシップの構成要素に分解されることを示す。 パーティション間の潜在的な相違のほとんどは、隣人の順番とスロットから生じている。 インプロンプト毎に曖昧な項目をひとつずつグレードし、キャッシュしたプレフィックスでコストの大半を回収することを推奨します。
• 参考スコア（独自算出の注目度）: 3.732244093761483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To save cost, practitioners often ask a language model to grade many independent items in one prompt. This assumes that verdicts are separable: that the verdict on an item does not depend on the other items in the prompt or on its position among them. Across three judgement tasks (harm in social-media comments, short-answer grading and review star ratings) and five open-weight models with 4-9B parameters, assigning the same 2,000 items to different random batches of 25 changes 11-22% of decisions on harm and grading, 6.5-13.3 points more than renaming the item keys or rewording the instruction, while AUROC against human labels differs from single-item grading only by -0.033 to +0.010; for four models with 14-32B parameters, 6-15% of decisions change, 4.2-9.1 points more. We show that flip rates decompose exactly into components of order, slot and membership, and that under a threshold model they grow with the square root of the variance that the context contributes, so that effects that are small for scores are large for decisions. Most of the latent dissimilarity between partitions comes from the order of the neighbours and the slot. The main effect of which items share the prompt, the part that voting over permutations of a batch cannot remove, accounts for 0.11-0.22 of it, and majority votes over nine permutations still leave 52-60% of the flips. Batched verdicts also differ systematically from single-item verdicts: even the majority of fifteen random batches disagrees with them on 8.4-17.8% of decisions. Editing a single generation shows that both the model's own earlier verdicts and the neighbours' texts carry the effect. On the easy task, star ratings, only 2.9-3.9% of decisions change. We recommend grading ambiguous items one per prompt, recovering most of the cost with a cached prefix, and reporting agreement with single-item grading whenever items are batched.
• Abstract（参考訳）: コストを抑えるため、実践者は言語モデルに多くの独立した項目を1つのプロンプトで評価するよう依頼する。 これは、評決が分離可能であると仮定し、ある項目の評決はプロンプト内の他の項目やそれらの中のその位置に依存しない。 3つの判定タスク(ソーシャルメディアのコメントのハーム、短い回答の星格付け、レビューの星格付け)と4-9Bのパラメータを持つ5つのオープンウェイトモデル、25の異なるランダムバッチに同じ2000項目を割り当てた25の変更の11-22%、アイテムキーのリネームや命令のリワードよりも6.5-13.3ポイント、人名に対するAUROCは-0.033から+0.010、14-32Bのパラメータを持つ4つのモデルでは6-15%、さらに4.2-9.1ポイントである。 ここでは,フリップレートが順序,スロット,メンバシップの構成要素に正確に分解され,しきい値モデルの下では,コンテキストが寄与する分散の平方根で成長し,スコアに対して小さい効果が決定のために大きくなることを示す。 パーティション間の潜在的な相違のほとんどは、隣人の順番とスロットから生じている。 どの項目がプロンプトを共有しているか、バッチの置換に対する投票が取り除けない部分、0.11-0.22、9つの置換に対する過半数の投票は、まだ52-60%のフリップを残している。 15個のランダムバッチの大多数でも8.4-17.8%の判定で一致しない。 一つの世代を編集すると、モデルの以前の判断と隣人のテキストの両方が効果を持つことがわかる。 簡単な作業では、星の評価は2.9-3.9%に過ぎなかった。 我々は,各プロンプト毎の曖昧な項目のグレード,キャッシュプレフィックスによるコストの大部分が回復し,項目がバッチされるたびに単一項目のグレードに合意することを推奨する。

関連論文リスト

• Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals [0.0]
  類似の集計スコアは、個々の評定の実質的な変化を隠蔽できることを示す。 ある設定では、判断を推論せずに要求し、他のいくつかの指示を下すと、結果が28.2ポイント以上のプロンプトで変化する。 安定した集計スコアは、個々の評定が繰り返し可能であることを証明しない。
  論文  参考訳（メタデータ） (2026-10-21T22:46:14Z)
• When Should Enterprise Policy Decisions Be Learned, and When Should They Be Reasoned? [9.875772420350168]
  書面された方針の下で回答する企業エージェントは、何かを言う前に行動を選択する必要がある。 決定が生成されたオブジェクトか、あるいは単一の制約付きトークンであるか、モデルが最初に理由付けするかどうかが異なります。 2800件のin-distribution項目では,2つの配置パスの精度差を検出できなかった。
  論文  参考訳（メタデータ） (2026-10-13T03:14:12Z)
• JudgeProfile: Understanding and Steering Subjectivity in LLM Judges [33.77747232529031]
  審査員は、明瞭さ、正確さ、詳細など、特定の属性にまたがる2つの反応を比較検討する。 裁判官は、全体的な選択がばらばらになっても、しばしば属性判断に同意する。
  論文  参考訳（メタデータ） (2026-09-29T04:43:28Z)
• AcoustiClaim: A Numeric Claim Benchmark with Instrument Ground Truth [40.60147451749375]
  AcoustiClaimは、自由テキストから各数値のクレームを抽出し、その量を定義する計器と、参照が読み取れる各量に対してスコア付けする。 4つのオープンウェイトシステムと1つのクローズドモデルにより、207細胞を充填する2つのコーパスに10種類の5つの方法が求められた。
  論文  参考訳（メタデータ） (2026-09-24T19:19:20Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
  複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。 UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。 11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
  論文  参考訳（メタデータ） (2026-08-15T22:11:00Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items [1.14219428942199]
  複数選択ベンチマークは、質問と正しい答えを修正しますが、ハーネスではありません。 スコアのばらつきを報告し、そのばらつきがどの項目に該当するかを未検討のままにし、それらが次のモデルから切り離した項目であるかどうかを報告する。 12のオープンウェイト命令チューニングLDMが4つのベンチマークから同じ3,679の項目に回答する。
  論文  参考訳（メタデータ） (2026-07-17T00:28:29Z)
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
  LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。 私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
  論文  参考訳（メタデータ） (2026-05-28T11:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。