Fugu-MT 論文翻訳(概要): Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure

論文の概要: Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure

arxiv url: http://arxiv.org/abs/2608.08722v1
Date: Sun, 09 Aug 2026 14:16:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.923913
Title: Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure
Title（参考訳）: 攻撃者がいないゲーム:選択圧力下でのLLM駆動検索におけるベンチマークフィンガープリント
Abstract要約: 評価信号に対して最適化されたシステムのベンチマークは、彼らが主張するものとは異なるものを測定する。我々はこれを2つのGPUカーネル最適化スイートで具体的に記述する。我々は、構成指紋からゲート漏れまで、これらの障害の4つのモード分類を提示する。
参考スコア（独自算出の注目度）: 6.599344783327054
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Benchmarks for systems that are optimized against the evaluation signal measure something different from what they claim. We document this concretely in two GPU-kernel-optimization suites with held-out generalization gates: Metal-Sci (10 scientific-compute tasks) and Metal-ZK (12 zero-knowledge/cryptographic tasks), in which three frontier LLMs (Opus 4.7, Gemini 3.1 Pro, GPT-5.5) propose Metal kernels inside a $(1{+}1)$ evolutionary loop with rich feedback. Although no model is prompted to act adversarially, the promoted winners repeatedly fingerprint the evaluation configuration: they branch on the identity of runtime parameters, tune the measured branch maximally, and leave the unmeasured branch slow or silently wrong. Across the pooled suites, $16/53$ ($30\%$) of in-distribution wins fail to transfer to held-out configurations. We give a four-mode taxonomy of these failures, from configuration fingerprints to gate leakage. We distill design guidance for measurement under strategic optimization: held-out probes retain validity only on non-enumerable axes; gates must measure held-out performance, not just correctness; and a transfer rate is interpretable only with per-failure mechanism grades: ours decomposes into gamed, overfit, and benign. Code and research artifacts: https://github.com/vicgalle/kernel-fingerprinting
Abstract（参考訳）: 評価信号に対して最適化されたシステムのベンチマークは、彼らが主張するものとは異なるものを測定する。我々はこれを2つのGPUカーネル最適化スイートで具体的に記述する: Metal-Sci (10の科学計算タスク) と Metal-ZK (12のゼロ知識/暗号タスク) で、3つのフロンティアLSM (Opus 4.7, Gemini 3.1 Pro, GPT-5.5) が1{+}1$の進化ループ内にあるメタカーネルを提案する。モデルが逆さまに振る舞うように促されることはないが、促進された勝者は、実行時パラメータの同一性に基づいて分岐し、測定されたブランチを最大に調整し、測定されていないブランチを遅くまたは静かに間違ったままにして、評価設定を何度も指紋化する。プールされたスイート全体では、16/53$(30\%$)の流通利益は保留構成への転送に失敗する。我々は、構成指紋からゲート漏れまで、これらの障害の4つのモード分類を提示する。提案手法では, ホールドアウトプローブは非可算軸にのみ有効であり, ゲートは単に正当性ではなくホールドアウト性能を計測しなければならない。コードと研究成果物:https://github.com/vicgalle/kernel-fingerprinting

関連論文リスト

Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文参考訳（メタデータ） (2026-09-02T08:10:22Z)
HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文参考訳（メタデータ） (2026-09-01T18:02:02Z)
How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution [49.01642339390897]
CTA(Concept-Targeted Attribution)は、線形プローブ方向に関する属性グラフを訓練する。 CTAは、なぜ内部概念表現がプロンプトに現れるのかを説明するプローブ固有の回路を生成する。
論文参考訳（メタデータ） (2026-08-27T08:12:49Z)
Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
論文参考訳（メタデータ） (2026-07-19T15:01:35Z)
Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。コードには手書きのコードはなく、人間による注釈もない。エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文参考訳（メタデータ） (2026-07-17T17:41:16Z)
Self-Specializing Vision-Language Transmon Chip Calibration in a Physics-Grounded Environment [0.023227405857540805]
超伝導トランスモンチップの校正は、ノイズ、ドリフト、有限予算下での逐次的な決定問題である。本研究は,視覚言語エージェントがこのループを閉じて,重み付けを伴わずに1つの物理デバイスに専門化できるかどうかを考察する。
論文参考訳（メタデータ） (2026-07-03T10:54:28Z)
Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文参考訳（メタデータ） (2026-05-21T09:19:23Z)
Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon [6.599344783327054]
Metal-SciはApple Silicon Metal計算カーネルの10タスクベンチマークである。各タスクはCPU参照、ルーフラインアンコールされたフィットネス機能、および保持可能な一般化サイズを出荷する。 We reported matched single-model sweeps of Claude Opus 4.7, Gemini 3.1 Pro, GPT 5.5 on M1 Pro。
論文参考訳（メタデータ） (2026-05-10T19:11:26Z)
GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
論文参考訳（メタデータ） (2026-05-09T16:07:23Z)
Graduated Trust Gating for IoT Location Verification: Trading Off Detection and Proof Escalation [0.0]
既存のスプーフィング検出器はバイナリな決定を出力し、システム設計者は高い偽陰性と高い偽受容率を選択せざるを得ない。本稿では,複数信号の整合性スコアを算出し,それを3つのアクション(ProCEED,STEP-UP,DENY)にマップする信頼ゲートを提案する。セッションラッチ機構は、ひとつの不審な修正がセッション全体をブロックすることを保証する。
論文参考訳（メタデータ） (2026-04-04T23:42:56Z)
Nondeterminism-Aware Optimistic Verification for Floating-Point Neural Networks [11.159101812934503]
不均一加速器上での浮動小数点実行のための非決定論的アウェア最適検証プロトコル NAOをPyTorch互換ランタイムとして実装し、現在Horeskyテストネット上にデプロイされているコントラクト層を運用しています。
論文参考訳（メタデータ） (2025-10-15T21:10:39Z)
Cloning Games, Black Holes and Cryptography [50.022147589030304]
クローンゲーム解析のための新しいツールキットを提案する。このフレームワークにより、バイナリフェーズ状態に基づいて新しいクローンゲームを分析することができる。連成位相の変分最適境界は、ブラックホールの理想化されたモデルで衝突する情報について定量的な洞察を与えることを示す。
論文参考訳（メタデータ） (2024-11-07T14:09:32Z)
WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文参考訳（メタデータ） (2022-11-13T09:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。