論文の概要: ReSTI: A Source-Grounded Audit and Repair of STI-Bench
- arxiv url: http://arxiv.org/abs/2609.24727v1
- Date: Mon, 21 Sep 2026 15:01:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.351886
- Title: ReSTI: A Source-Grounded Audit and Repair of STI-Bench
- Title（参考訳）: ReSTI:STI-Benchのオーディションと修復
- Abstract要約: 対象,時間,座標系,物理量,単位の条件下で,すべてのリカバリ可能な回答を再構築するソースバックリビジョンであるReSTIを導入する。
2,064件のレガシな質問に対して、ReSTIは1,782件の質問を残している。
- 参考スコア（独自算出の注目度）: 53.31188726177487
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial--temporal benchmarks are valid only when their questions, source annotations, and answer options identify the same physical quantity. We audit STI-Bench against the official ScanNet, Waymo, and Omni6DPose sources and find systematic coordinate-system and timestamp errors, under-specified targets and times, and disagreements between keyed options and answer details. We introduce ReSTI, a source-backed revision that reconstructs every recoverable answer under an explicit target, time, coordinate system, physical quantity, and unit. Source reconstruction reveals task-level geometric failures: ScanNet Grounding omits the required alignment between annotation and raw camera coordinate systems, while Orientation measures camera rotation on the wrong plane. ReSTI replaces these labels with explicit, source-consistent geometric definitions and corrects other source-verifiable defects, including Waymo poses evaluated at the wrong timestamp. Across 2,064 legacy questions, ReSTI retains 1,782 questions and records 282 evidence-backed exclusions. ReSTI therefore provides a conservative and source-traceable basis for evaluating precise video spatial--temporal reasoning. Project page: https://github.com/pengzhansun/ReSTI.
- Abstract（参考訳）: 時空間ベンチマークは、質問やソースアノテーション、回答オプションが同じ物理量を特定する場合にのみ有効である。
STI-Benchを公式のScanNet、Waymo、Omni6DPoseソースに対して監査し、システマティックな座標系とタイムスタンプエラー、未指定のターゲットと時間、キー付きオプションと回答の詳細の相違を見つけます。
対象,時間,座標系,物理量,単位の条件下で,すべてのリカバリ可能な回答を再構築するソースバックリビジョンであるReSTIを導入する。
ScanNet Groundingはアノテーションと生のカメラ座標系の調整を省略し、Orientationは間違った平面上でのカメラ回転を測定します。
ReSTIはこれらのラベルを明示的でソース一貫性のある幾何学的定義に置き換え、間違ったタイムスタンプで評価されたWaymoのポーズを含む他のソース検証可能な欠陥を修正する。
2,064件のレガシな質問に対して、ReSTIは1,782件の質問を保持し、証拠に裏付けられた除外を282件記録している。
したがって、ReSTIは、正確なビデオ空間-時間的推論を評価するために、保守的でソース追跡可能な基盤を提供する。
プロジェクトページ: https://github.com/pengzhansun/ReSTI.com
関連論文リスト
- Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。
提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。
記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文 参考訳（メタデータ） (2026-09-21T11:59:07Z) - From Subjective Judgments to Auditable Standards:Protocol-Guided AI Auditing of Website Redundancy [2.2917707112773593]
ウェブサイトの冗長性は、単一の固定された意味を持っていない。
我々は,繰り返し負荷,正規利用税,障害領域回復予備費を別々に測定するCORAを導入する。
論文 参考訳（メタデータ） (2026-08-21T07:17:35Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - Identifiability-Aware Source Apportionment in City-Scale Advection-Diffusion Systems [2.5811067635761256]
希少な都市空気質センサからの音源配置は、センサ配置、風駆動輸送、背景変動、騒音によって制限される逆問題である。
本研究では,非負のソースベース係数を推定し,活動軌跡を再構築する識別可能性を考慮した評価フレームワークを提案し,不明瞭なソースに対する不確実性と保守的なグループ化の勧告を報告する。
政府のPM$_2.5$とウィンドレコード、規制センサー位置、および4つのプロキシソースグループから構築されたニューデリープラットフォーム上でインスタンス化し、リカバリ、あいまいさ、風の多様性、背景応力、輸送エラー、在庫の堅牢性、および制御および観察された評価を定義する。
論文 参考訳（メタデータ） (2026-07-25T23:10:51Z) - Presentation, Not Mechanism: A Render Confound in Deprecation-Aware Memory Evaluation [14.101636730819175]
我々は,2,907質問に対して,平坦な検索,粗いエッジ無効化,きめ細かいRevisionLedgerを比較し,Evidence-State Revisionについて検討した。
値が変更され、後に復元されたとき、RevisionLedgerはフラットベースラインを+0.182で打ち負かしているように見える。
粗い無効化は、現在のクエリに課金する唯一のメカニズムであり、微細な台帳を0.084で上回っている。
論文 参考訳（メタデータ） (2026-07-17T14:55:34Z) - Adaptive Dense Evidence Refinement for Video Relational Reasoning for VRR-QA Challenge [15.724849094439987]
本稿では,適応型テスト時間計算を中心に構築された推論のみのシステムを提案する。
システムはまず、各質問に直接ビデオ言語モデルパスで答え、続いて複数の軽量ビューを使用して不安定な質問を見つける。
テストスプリットでは、最終システムは90.07平均精度と87.81マクロ平均精度を得る。
論文 参考訳（メタデータ） (2026-05-31T08:45:06Z) - ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。
本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
論文 参考訳（メタデータ） (2026-04-27T10:45:51Z) - GREPO: A Benchmark for Graph Neural Networks on Repository-Level Bug Localization [50.009407518866965]
リポジトリレベルのバグローカライゼーションは、ソフトウェアエンジニアリングの重要な課題です。
GNNは、複雑なリポジトリ全体の依存関係をモデル化できるため、有望な代替手段を提供する。
GREPOは、リポジトリスケールのバグローカライゼーションタスクのための最初のGNNベンチマークである。
論文 参考訳（メタデータ） (2026-02-14T23:22:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。