論文の概要: ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions

• arxiv url: http://arxiv.org/abs/2609.26893v1
• Date: Tue, 22 Sep 2026 18:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.707586
• Title: ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions
• Title（参考訳）: ACTS:制御ブラインド条件下でLLM暗号識別を評価する多層ベンチマーク
• Abstract要約: 階層化されたメタデータの削除による暗号解析能力のベンチマークを行う。 Tier-1: フルスイート、Tier-2: のみ、Tier-3: 完全に盲目。 Tier-5: 暗号文のみのチェーン、コード・アズ・ア・レゾン、自己補正。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ACTS (Artifacts in Cipher Testing Suite), a reproducible benchmark that isolates cryptanalytic ability through tiered metadata deprivation (Tier-1: full metadata; Tier-2: filename only; Tier-3: completely blind) and tests forced reasoning (Tier-5: chain-of-thought, code-as-reasoning, self-correction) on ciphertext alone. A 10-configuration ablation study on 7,000 files, using a single 70/30 train-test split for feature-removal analysis, provides additional evidence at scale. Live API inference on a v2b corpus with fully randomised padding (PKCS7, ISO 10126, and ANSI X9.23 selected per file), unique CSPRNG keys, and unique plaintexts (127 files per model, 381 Tier-1 records, 380 Tier-3 records across three cloud systems, supplemented by 254 autonomous agentic evaluations in Tier-4) yields a combined Tier-3 accuracy of 30.8%, only modestly above the 14.3% random baseline for seven-way classification. The corresponding combined metadata-dependency gap is 40.9 percentage points (Tier-1: 71.7% vs. Tier-3: 30.8%). Against a classical Random Forest (69.2% on 7,000 files, trained on engineered byte-level features), the observed live gap is 38.4 percentage points. Because this comparison spans different input representations and training paradigms, the gap should be interpreted as an overall capability difference rather than a clean factorial decomposition. Six findings are reported: (1) Metadata dependency remains large; (2) Scaling failure under blind conditions; (3) Forced reasoning is epiphenomenal; (4) The observed live capability gap exceeds earlier heuristic estimates; (5) The signal is primarily structural rather than statistical; (6) Heuristic invariance versus ML fragility reveals different failure modes.
• Abstract（参考訳）: 本稿では,階層化されたメタデータの削除(Tier-1:完全なメタデータ,Tier-2:ファイル名のみ,Tier-3:完全に盲目)とテスト強制推論(Tier-5:チェーン・オブ・シンク,コード・アズ・ア・ライジング,自己訂正)を通じて,暗号解析能力を分離する再現可能なベンチマークであるACTS(Artifacts in Cipher Testing Suite)を紹介する。 7000ファイルを対象にした10-configuration ablation(英語版)研究では、機能排除分析のために1つの70/30の列車試験スプリットを使用して、大規模にさらなる証拠を提供する。 完全にランダム化されたパディング(PKCS7、ISO 10126、ANSI X9.23)、ユニークなCSPRNGキー、ユニークな平文(モデル毎127ファイル、381 Tier-1レコード、380 Tier-3レコード)を持つv2bコーパス上のライブAPI推論では、Tier-3の精度は30.8%で、7方向分類の14.3%のランダムベースラインよりわずかに高い。 メタデータ/依存性の差は40.9ポイント(Tier-1:71.7%対Tier-3:30.8%)である。 古典的なランダムフォレスト(7000ファイルで69.2%、エンジニアリングされたバイトレベルの特徴で訓練されている)に対して、観測されたライブギャップは38.4ポイントである。 この比較は異なる入力表現と訓練パラダイムにまたがるため、ギャップはクリーンな因子分解よりも全体的な能力差として解釈されるべきである。 その結果,(1) メタデータ依存度は大きい,(2) ブラインド条件下でのスケール障害,(3) 強制的推論はエピフェノメナル,(4) 観測されたライブ能力ギャップは早期のヒューリスティックな推定値を超え,(5) 信号は統計的ではなく構造的であり,(6) ヒューリスティックな不均一性とMLの脆弱性は異なる障害モードを示す,という結果が得られた。

関連論文リスト

• qZACH-ViT: Quantization-Aware Intrinsic Explanations with Recursive Attribution-Stabilized Optimization [0.0]
  ゼロトケンフリーなZACH-ViTバックボーンの量子化対応拡張であるqZACH-ViTを導入する。 帰納的属性安定化最適化(RASO)も導入する。 我々は,クラス毎に50のトレーニング画像と10の固定種子を用いて,7つのMedMNISTデータセットに対して4つの制御条件を評価する。
  論文  参考訳（メタデータ） (2026-07-16T19:51:48Z)
• From Correlation to Cause: A Five-Stage Methodology for Feature Analysis in Transformer Language Models [0.0]
  変換言語モデルにおける因果的特徴分析のための5段階の手法を提案する。 Indirect Object Identification (IOI) タスクを実行するGPT-2のエンド・ツー・エンドを実証する。
  論文  参考訳（メタデータ） (2026-05-21T13:25:16Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
  PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。 各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。 PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
  論文  参考訳（メタデータ） (2026-05-13T18:01:05Z)
• In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification [4.738949927143789]
  その結果, 同種ラベルは意味論的に有効なものであっても, 6つのモデルで12%の精度で崩壊することがわかった。 モデルはラベル位置を占めるトークンを、徹底的な回答語彙として扱う。
  論文  参考訳（メタデータ） (2026-05-08T10:20:39Z)
• The autoPET3 Challenge: Automated Lesion Segmentation in Whole-Body PET/CT $\unicode{x2013}$ Multitracer Multicenter Generalization [67.92281859568168]
  第3回オートPETチャレンジ(MICCAI 2024)の設計と成果を報告する。 全身PET/CTにおける自動病変分割を, 構成的一般化条件下でベンチマークした。 トップランクのアルゴリズムは平均DSCが0.66、FNVが3.18mL、FPVが2.78mLである。
  論文  参考訳（メタデータ） (2026-05-07T07:07:09Z)
• Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction [0.0]
  妥当性画面は、LDM信頼信号をValid、Indeterminate、Invalidに分類する。 認知的軌跡の524項目において,7家系の20のフロンティアLSMを評価した。 Split-halfクロスバリデーションは、中央値d = 1.77, P(d > 0) = 1.0を1000個の分割で生成する。
  論文  参考訳（メタデータ） (2026-04-20T01:56:29Z)
• The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious [35.76482964927589]
  202のマルチターン会話における66のターンレベルメトリクスの自己相関構造を特徴付ける。 標準プールテストでは,42%のアソシエーションがクラスタ・ロバスト補正に成功しなかった。 我々は、Chelton (1983) の有効自由度と会話レベルのブロックブートストラップを組み合わせた2段階補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T20:54:39Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。