論文の概要: When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA

• arxiv url: http://arxiv.org/abs/2606.08542v1
• Date: Sun, 07 Jun 2026 09:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.197943
• Title: When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA
• Title（参考訳）: ビデオの誤り: 探索的操作トレースQAのための読解ヒューリスティックの閉ループ蒸留
• Authors: Haizhou Ge, Yufei Jia, Yue Li, Zhixing Chen, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang,
• Abstract要約: このパイプラインは、タスク毎のコーディングエージェントを使用してラベル付きトレーニングトレースを検査し、トレース上で1行の自然言語プロンプトを蒸留する。 3つのシミュレーターと2つの実ロボットタスクで、DRHは最高の生モダリティベースラインに対して+0.38から+0.47に精度を向上する。
• 参考スコア（独自算出の注目度）: 23.693877402824185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exploratory manipulation often turns an apparent failed attempt into the key evidence for what to do next. For example, a robot pulls a locked cabinet drawer, fails, and only succeeds after opening the lock. The failed pull reveals a latent precondition (the drawer is locked) that determines the minimal-success action chain (the fewest actions that complete the task), here [lock-open, drawer-pull]. Correctly reading this trace is therefore the prerequisite for recovering that chain. We formalize this setting as Exploratory Manipulation Trace QA (EMT-QA): given synchronized video and proprioception from an exploratory trace, predict the minimal-success action chain under the latent precondition revealed by the probe. However, even state-of-the-art VLMs and embodied multimodal LLMs misread this evidence: they do not reliably recover the chain from raw video, raw proprioception, or their combination. We introduce Closed-Loop Trace Distillation, a pipeline that uses a per-task coding agent to inspect labeled training traces and distill a one-line natural-language prompt over the trace, which we call the Distilled Reading Heuristic (DRH). At inference, no agent is invoked and no model weights are updated; a frozen VLM receives the raw trace plus the DRH as a prompt entry. Across three simulator and two real-robot tasks, the DRH improves chain accuracy by +0.38 to +0.47 over the best raw-modality baseline. The same DRH also serves as the sole specification for one-shot programmatic classifiers that match the prompted VLM.
• Abstract（参考訳）: 探索的な操作はしばしば、次に何をすべきかを示す重要な証拠に明らかに失敗した試みを回す。 例えば、ロボットはロックされたキャビネットの引き出しを引っ張り、失敗し、ロックを開けた後だけ成功します。 失敗したプルは、最小レベルのアクションチェーン(タスクを完了する最も小さなアクション)を決定する潜伏した前提条件(引き手はロックされている)を明らかにします。 したがって、このトレースを正しく読むことが、そのチェーンを回復するための必須条件である。 我々は,この設定を探索操作トレースQA (Exploratory Manipulation Trace QA:EMT-QA) として定式化した。 しかし、最先端のVLMや具現化されたマルチモーダルLLMでさえも、この証拠を誤読している。 このパイプラインは、タスク毎のコーディングエージェントを使用して、ラベル付きトレーニングトレースを検査し、トレース上で1行の自然言語プロンプトを蒸留する。 推測では、エージェントは起動されず、モデルウェイトも更新されず、凍結されたVLMは、生のトレースとDRHを即時エントリとして受信する。 3つのシミュレーターと2つの実ロボットタスクで、DRHは最高の生モダリティベースラインに対して+0.38から+0.47に精度を向上する。 同じDRHは、引き起こされたVLMと一致するワンショットプログラム分類器の唯一の仕様としても機能する。

関連論文リスト

• The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers [2.2374050209578864]
  本稿では、因果言語モデルにおける睡眠エージェントスタイルのバックドアを特定するための実用的なスキャナを提案する。 まず、睡眠薬は中毒データを記憶する傾向があるため、バックドアのサンプルを漏らすことが可能です。 提案手法は,複数のバックドアシナリオと広範囲のモデルにまたがる動作トリガを復元することを示す。
  論文  参考訳（メタデータ） (2026-02-03T04:17:21Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction [89.88061141170512]
  機械読解モデルの学習のための自己学習法(STM)を提案する。 各イテレーションにおいて、ベースMCCモデルは、黄金の回答とノイズの多いエビデンスラベルで訓練される。 トレーニングされたモデルは、偽の証拠ラベルを次のイテレーションで追加の監督として予測する。
  論文  参考訳（メタデータ） (2020-05-11T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。