論文の概要: Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation

• arxiv url: http://arxiv.org/abs/2610.11436v1
• Date: Thu, 08 Oct 2026 07:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.877788
• Title: Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation
• Title（参考訳）: 審査員が用いた意思決定モデルにおける対立的手がかり--要求提示の役割
• Abstract要約: 候補に1つのコロニーを追加すると、構造化された判定要求の提示に応じて、この要件に違反する可能性があることを示す。 基本的な判断能力は、固定された候補編集に対して、著しく異なる脆弱性と共存できることを示す。
• 参考スコア（独自算出の注目度）: 1.7259824817932294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An answer judge instructed to grade the final commitment should reject an explicitly wrong final value even when an earlier value matches the reference. We show that adding one colon to a candidate can violate this requirement depending on the presentation of the structured judging request. Numeric references certify the error, and paired interventions distinguish the candidate edit from the integration's presentation choices. On 200 previously unused DROP and GSM8K source clusters, the edit increased Jev's false acceptance from 1.0% to 26.0% with three output labels and from 3.0% to 26.5% with the published four-label grading instruction under sorted JSON keys. Both candidate variants were rejected under insertion presentation. These interactions passed the prespecified statistical correction even though Jev met the control thresholds under both grading configurations and presentations. Most excess acceptances occurred among candidates assigned larger numerical errors. GPT-6 Sol produced no observed cue-condition false acceptances, with missing responses unresolved. The result shows that basic judging competence can coexist with sharply different vulnerability to a fixed candidate edit across logically equivalent request presentations. The reference-aware grammar and compound ordering change limit the finding's operational scope and leave its internal cause unmeasured.
• Abstract（参考訳）: 最終コミットメントを格付けするように指示された回答裁判官は、前回の値が参照と一致する場合であっても、明示的に間違った最終値を拒否すべきである。 候補に1つのコロンを加えると、構造化された判断要求の提示に応じて、この要件に違反する可能性があることを示す。 数値参照はエラーを証明し、ペア化された介入によって、候補編集と統合の提示選択を区別する。 200の未使用のDROPとGSM8Kソースクラスタでは、3つの出力ラベルでJevの偽の受け入れが1.0%から26.0%に増加し、ソートされたJSONキーで発行された4ラベルのグレーディング命令で3.0%から26.5%に増加した。 どちらの候補も挿入プレゼンテーションで拒否された。 これらの相互作用は、Jevがグレーディング構成とプレゼンテーションの両方で制御しきい値を満たしているにもかかわらず、予め特定された統計的補正をパスした。 ほとんどの過剰な受理は、より大きな数値誤差を割り当てた候補者の間で発生した。 GPT-6 ソルは観察されたキュー条件の誤認は生じず、応答は未解決であった。 その結果、基本的な判断能力は、論理的に等価な要求の提示にまたがって、固定された候補編集に対して、著しく異なる脆弱性と共存できることがわかった。 参照対応文法と複合順序変更は、発見の操作範囲を制限し、内部原因を未測定のままにしておく。

関連論文リスト

• What to Admit and How to Present: Governing Persistent Memory in LLM Agents [3.0075075797261532]
  私たちは、承認とプレゼンテーションの2つのガバナンス決定を区別します。 再トレーニングなしに2つの推論時設計を実装した。 対訳 FC と PS はプールド・ジャッジ・アセスド・失敗率を低下させる。
  論文  参考訳（メタデータ） (2026-10-08T03:45:28Z)
• Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
  EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。 自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。 本稿は、強い透かしに代わる聴覚的な代替品を開発する。
  論文  参考訳（メタデータ） (2026-10-05T13:32:41Z)
• Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
  公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。 ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。 10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
  論文  参考訳（メタデータ） (2026-10-02T14:36:46Z)
• Overwhelmed by Choice: Studying LLM Decision Making at Scale [70.45144023754595]
  候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
  論文  参考訳（メタデータ） (2026-09-26T17:33:04Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
  CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。 パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
  論文  参考訳（メタデータ） (2026-08-26T08:54:32Z)
• Admission Without Answers: Label-Free Certification and Experience Learning for LLM-Based Optimization Modeling [8.467936416935986]
  Admitorは、校正された外部行動証拠に基づいて構築された入場ゲートである。 これは、明確に校正された偽発見ターゲットを中心に設計された最初のラベルなし入場機構である。
  論文  参考訳（メタデータ） (2026-08-16T06:18:54Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。