論文の概要: Can Motion-Language Models Ground Structure? STRIDE for Evaluating the Evaluators

• arxiv url: http://arxiv.org/abs/2609.32462v1
• Date: Sat, 26 Sep 2026 10:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:58:02.243449
• Title: Can Motion-Language Models Ground Structure? STRIDE for Evaluating the Evaluators
• Title（参考訳）: 運動言語モデルが地盤構造をモデル化できるか?
• Abstract要約: 本稿では、時間順、反射、同一性診断評価ベンチマークによる構造的グラウンド化について紹介する。 我々は,時間的秩序,ミラー反射,行動同一性を追跡する評価器の能力を体系的に評価した。 実験の結果, 鏡面の感度が低下し, 鏡面の感度が低下することが判明した。
• 参考スコア（独自算出の注目度）: 24.602670527062454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion-language models are typically scored by motion-language evaluators, but how well these evaluators ground language structure remains unclear. Here, we introduce the Structure grounding via Temporal-order, Reflection, and Identity Diagnostic Evaluation (STRIDE) benchmark to systematically evaluate the ability of evaluators to track temporal order, mirror reflection, and action identity. STRIDE comprises $5{,}869$ triples, each consisting of a motion, its original caption, and a perturbed caption, spanning both short and long descriptions. We likelihood-balance caption pairs to reduce text-only bias and estimate each evaluator's caption preference under unrelated motions to measure the discrimination gain from matched motions relative to this baseline. Our experiments reveal weak structural grounding and severe deficits in mirror sensitivity among the audited evaluators, which commonly used evaluation protocols fail to expose. To understand why these limitations go undetected in standard tests, we examine the evaluators more closely. We find that text-only priors alone can solve naive perturbation tests on existing datasets, while common retrieval and distributional metrics barely respond to structural corruption introduced by mirroring ground-truth motions. These findings suggest a natural intervention: structural hard negatives. Our experiments show that a simple modification to contrastive learning substantially improves performance on temporal order and mirror reflection. The benchmark and code will be released.
• Abstract（参考訳）: 運動言語モデルは通常、運動言語評価器によって評価されるが、これらの評価器が基底言語構造にどの程度優れているかは定かではない。 本稿では、時間順、反射、およびアイデンティティ診断評価(STRIDE)ベンチマークを用いて、時間順、ミラーリフレクション、アクションアイデンティティを追跡するための評価器の能力の体系的評価を行う。 STRIDE は 5{,}869$ 三つ組で構成されており、それぞれが動き、元のキャプション、そして、短文と長文のキャプションで構成されている。 我々は,テキストのみのバイアスを低減し,非関係な動作下で各評価者のキャプション嗜好を推定し,このベースラインに対する一致した動きの差分ゲインを測定する。 本実験では, 評価プロトコルが一般的に使用されるが, 鏡面感度が低下し, 鏡面感度が低下することが判明した。 これらの制限が標準テストで検出されない理由を理解するため、評価器をより精査する。 テキストのみの先行データだけで既存のデータセットの単純な摂動テストが解けるのに対し、一般的な検索と分布のメトリクスは、地動のミラーリングによってもたらされる構造的腐敗にほとんど反応しない。 これらの所見は、構造的硬い陰性という自然な介入を示唆している。 比較学習への簡単な修正は時間順とミラー反射の性能を大幅に向上させることを示す。 ベンチマークとコードがリリースされる。

関連論文リスト

• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
  本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。 モデルの局所性依存性を示す実証的証拠を提供する。 ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
  論文  参考訳（メタデータ） (2026-05-19T05:22:21Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
  本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。 DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。 制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
  論文  参考訳（メタデータ） (2026-02-21T19:14:31Z)
• Why Do Class-Dependent Evaluation Effects Occur with Time Series Feature Attributions? A Synthetic Data Investigation [5.136283512042341]
  「クラス依存評価効果」は、摂動解析が帰属品質を確実に測定するかどうかという疑問を提起する。 複数の帰属法を用いて,摂動に基づく劣化スコアと地中真理に基づく精度評価値を比較した。 最も重要な点として、摂動に基づく実測値と基底的実測値が、クラスごとの帰属品質の矛盾した評価をしばしば得ることが挙げられる。
  論文  参考訳（メタデータ） (2025-06-13T13:52:32Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。