論文の概要: ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals
- arxiv url: http://arxiv.org/abs/2609.16816v1
- Date: Tue, 15 Sep 2026 08:21:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.411345
- Title: ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals
- Title（参考訳）: Impossible Rubrics:Reward Signalsとしてのストレステスト生成ルーブリック
- Abstract要約: InmpossibleRubricsは、6つの不可能なカテゴリにまたがる169の不可能なタスクのベンチマークである。
11個の発電機が、偏りのない150-of-169の環境カットで8--26%の時間を利用している。
11基の発電機のうち7基はそれよりも頻繁に利用され、それぞれの発電機に調整された潤滑剤が書き込まれている。
- 参考スコア（独自算出の注目度）: 11.176653941165597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language model-generated rubrics are increasingly used as reward signals for rubric-based reinforcement learning, LLM-as-a-judge evaluation, and automated grading. Such rubrics are reliable only if they reward honest answers over adversarial answers optimized to exploit them. Yet their robustness to such optimization remains poorly understood. We isolate the hardest regime: impossible tasks, where the prompt pressures the model toward an unsupported conclusion, so the only honest response is to acknowledge the impossibility. We introduce ImpossibleRubrics, a benchmark of 169 impossible tasks spanning six impossibility categories, each paired with a verifiable oracle certificate specifying what an honest answer may and may not claim, together with 48 answerable controls. Rather than providing fixed rubrics, ImpossibleRubrics provides task environments and certificates, allowing rubrics to be generated downstream and then adversarially tested for whether they reward certificate-violating answers. Eleven generators are exploited 8--26% of the time on the unbiased 150-of-169 environment cut; on a deliberately selected stress cut the strongest generator we measured is still exploited 36% while a certificate-faithful rubric is exploited 0%, so what we measure is a rubric-quality gap, not task impossibility. One result runs against intuition. A single generic rubric ("be decisive, penalize hedging") used unchanged for every task is exploited 64% of the time, and seven of the eleven generators are exploited more often than that while writing a rubric tailored to each one. The tailored criteria appear to tell an attacker which claim to fabricate. The problem is not that rubrics are vague; it is that they are specific about the wrong things.
- Abstract（参考訳）: 言語モデル生成ルーブリックは, ルーブリックに基づく強化学習, LLM-as-a-judge評価, 自動グレーディングの報奨信号として, ますます利用されている。
このようなルーリックは、それらを活用するために最適化された敵の答えに対して正直な答えを報いる場合にのみ信頼できる。
しかし、そのような最適化に対する頑健さはいまだに理解されていない。
我々は、最も困難な体制を分離する:不可能なタスク、即席でモデルが無論の結論に向かって圧力をかけるため、唯一の正直な反応は、その不可能性を認めることである。
InmpossibleRubricsは、6つの不合理なカテゴリにまたがる169の不可能なタスクのベンチマークで、それぞれに、正解がどのようなもので、主張できないかを検証可能なオラクル証明書と、48の応答可能な制御とともにペアリングする。
ImpossibleRubricsは、固定されたルーブリックを提供するのではなく、タスク環境と証明書を提供する。
11個の発電機は、偏りのない150-of-169の環境カットで8-26%の時間を利用しており、意図的に選択されたストレスカットでは、私たちが測定した最強の発電機は36%、証明書に忠実なルーリックは0%であり、私たちが測定したものは、タスクの不確実性ではなく、粗い品質のギャップである。
1つの結果は直感に反する。
1つの一般的なルーリック(「決定的、ペナライズ・ヘッジ」)は、全てのタスクで変化しないが、その64%が悪用され、11個のジェネレータのうち7つは、それぞれのタスクに合わせたルーリックを書きながら、それよりも頻繁に悪用される。
調整された基準は、偽造を主張する攻撃者を示すように見える。
問題は、破片が曖昧であることではなく、それらが間違ったものに特有であることである。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence [21.413257942637888]
既存のアプローチは、人書きのルーブリック、好みのデータ、サンプリングされたレスポンスから監督されることが多い。
外部アノテーションやモデルトレーニングなしで空のセットからルーブリックセットを進化させる、クエリのみのフレームワークを導入します。
5つのベンチマークスイートの実験では、Trialでの好みの有効性が示されている。
論文 参考訳（メタデータ） (2026-07-16T15:01:33Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳（メタデータ） (2026-05-05T16:38:23Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On [31.413458927376016]
参照不要な設定を埋めるために、Implicit Error Countingを提案する。
IECは、キャリブレーションされたルーリックに対して何が正しいかをチェックせずに、何が間違っているかを列挙します。
ネーブ明示列挙法は安定な最適化には難しすぎることを示す。
論文 参考訳（メタデータ） (2026-03-05T20:20:04Z) - Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。
複雑な敵戦略は単純な操作的コメントに勝るものではない。
コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文 参考訳（メタデータ） (2026-02-18T00:34:17Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。