論文の概要: Verifying Test-State Identity in Paired Evaluation of Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2611.00896v1
• Date: Sat, 31 Oct 2026 12:57:36 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:36:01.23045
• Title: Verifying Test-State Identity in Paired Evaluation of Vision-Language-Action Models
• Title（参考訳）: 視覚・言語・アクションモデルの評価におけるテスト状態の同一性検証
• Abstract要約: VLA評価は、マッチングタスク、シード、エピソードの識別子を、2つのポリシーが同じテスト条件に直面しているという十分な証拠として扱うことが多い。 ペア比較のための評価積分フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Simulation-based VLA evaluation often treats matching task, seed, and episode identifiers as sufficient evidence that two policies faced identical test conditions. Under specific vectorized reset and autoreset conditions, different termination timing can change subsequent initial-state assignment, so the same episode index need not mean the same test state. We present an evaluation-integrity framework for paired comparison - invariants I1-I5, provenance logging, optional scene fingerprints, and an automated checker - and a controlled LeRobot 0.6.1 LIBERO harness study with emulated controllers. Four evidence levels are kept separate: (A) mixed-horizon Sync wave-1 IDs [20, 5, 22, 7] vs [4, 5, 6, 7]; (B) homogeneous separate-job Sync control (16 cells, 0 ID/fingerprint mismatches); (C) Async+Freeze batch-size map differences (12 I3 mismatches; bs=8 incomplete; mechanism unisolated); (D) a synthetic McNemar illustration only. Controllers were emulated and no real-VLA shared-vector experiment was completed. We recommend checking declared/resolved init-state identity and provenance before paired statistics. We do not claim that published VLA leaderboards are generally invalid.
• Abstract（参考訳）: シミュレーションに基づくVLA評価は、マッチングタスク、シード、エピソードの識別子を、2つのポリシーが同じテスト条件に直面しているという十分な証拠として扱うことが多い。 特定のベクトル化されたリセット条件とオートリセット条件の下では、異なる終了タイミングがその後の初期状態割り当てを変更する可能性があるため、同じエピソードインデックスが同じテスト状態を意味する必要はない。 我々は,ペア比較のための評価統合フレームワーク - 不変I1-I5,前処理ログ,任意のシーン指紋,自動チェッカー - と,エミュレートされたコントローラを用いたLeRobot 0.6.1 LIBEROを用いた検討を行う。 A) 混合ホライゾン Sync Wave-1 ID [20, 5, 22, 7] vs [4, 5, 6, 7]; (B) 均質な分離ホブ Sync Control (16セル, 0 ID/フィンガープリントミスマッチ), (C) Async+Freeze バッチサイズマップ差(12I3ミスマッチ, bs=8不完全, 機構不完全), (D) 合成マクネマー図面のみ。 コントローラはエミュレートされ、実際のVLA共有ベクトル実験は完了しなかった。 我々は、ペア化された統計の前に、宣言された/解決された状態のアイデンティティと証明をチェックすることを推奨する。 VLAのリーダーボードが一般に無効であるとは主張していません。

関連論文リスト

• Separating Statistical Inference from Experimental Runtime: An Architecture for Sequential Scientific Analysis [45.88028371034407]
  連続的な統計手続きは、異種源から観測が漸進的に到達する科学システムにますます組み込まれている。 データトポロジ、実行、実行ライフサイクル、永続化、外部アクションから統計的推論を分離するアーキテクチャを提案する。 我々は、オブジェクトモデルではなく、アーキテクチャを意味的に指定し、どんな実装でもテストできる7つの適合不変量を導出します。
  論文  参考訳（メタデータ） (2026-10-11T18:25:32Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Certifying Compressed Language Models: An Audit and a Statistical Toolkit [0.0]
  正解率は, 正解率の約5倍であり, 正解率と正解率は同一であり, 個々の項目では相変わらず一致しない。 誰も有望な数値等価マージンを示しておらず、タスクマッチングされた各イテム出力はリリースしない。 欠落した機器: 宣言されたマージンでペア同値テストを行い、認定表に評価要求を与えます。
  論文  参考訳（メタデータ） (2026-08-15T05:15:35Z)
• TwistedMerge: Certified Higher-Order Diagnostics and Abstention for Model Merging [0.48086260459837454]
  我々は、チェックポイントが局所対象、アライメントマップが遷移、サイクル積が残留する有限降下問題としてマージを定式化する。 提案手法は, 定数エッジのNo-go結果, フリーズ・コンプレックスの3方向およびプレファミリーの誤差制御定理, 比較・複雑感度の精査試験である。 訓練された低ランク適応型監査では, 平均化係数は選択したGLr代表に依存するが, 大域的因子同期と高密度デルタSVDは安定である。
  論文  参考訳（メタデータ） (2026-07-23T03:24:50Z)
• A Governance Methodology Layer for AI-Assisted Software Development: Defect Taxonomy, Controlled Ablation, and a Test of Process-Over-Capability [0.0]
  5つのAIエージェントの許可とガバナンスモジュールに基づく欠陥クラス分類を提案する。 本稿では,ジェネレータの出力を読み出し,構造化されたバリデーションを出力するランタイム分離型ガバナンスゲートについて述べる。 トークンマッチングされた未構造化プロンプトとハーネス構造化されたレビューを比較した制御アブレーション実験を報告する。
  論文  参考訳（メタデータ） (2026-07-01T14:08:41Z)
• How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures [0.0]
  VLAアーキテクチャは、モーター・コマンドレベルで根本的に異なる予測可能な方法で失敗する。 我々は、よく知られた離散/連続的なVLAの区別の結果を定量化する。
  論文  参考訳（メタデータ） (2026-05-27T16:44:55Z)
• A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
  言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。 我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。 標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
  論文  参考訳（メタデータ） (2026-05-26T23:22:55Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。