論文の概要: When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA
- arxiv url: http://arxiv.org/abs/2606.08542v1
- Date: Sun, 07 Jun 2026 09:49:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.197943
- Title: When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA
- Title（参考訳）: ビデオの誤り: 探索的操作トレースQAのための読解ヒューリスティックの閉ループ蒸留
- Abstract要約: このパイプラインは、タスク毎のコーディングエージェントを使用してラベル付きトレーニングトレースを検査し、トレース上で1行の自然言語プロンプトを蒸留する。
3つのシミュレーターと2つの実ロボットタスクで、DRHは最高の生モダリティベースラインに対して+0.38から+0.47に精度を向上する。
- 参考スコア（独自算出の注目度）: 23.693877402824185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exploratory manipulation often turns an apparent failed attempt into the key evidence for what to do next. For example, a robot pulls a locked cabinet drawer, fails, and only succeeds after opening the lock. The failed pull reveals a latent precondition (the drawer is locked) that determines the minimal-success action chain (the fewest actions that complete the task), here [lock-open, drawer-pull]. Correctly reading this trace is therefore the prerequisite for recovering that chain. We formalize this setting as Exploratory Manipulation Trace QA (EMT-QA): given synchronized video and proprioception from an exploratory trace, predict the minimal-success action chain under the latent precondition revealed by the probe. However, even state-of-the-art VLMs and embodied multimodal LLMs misread this evidence: they do not reliably recover the chain from raw video, raw proprioception, or their combination. We introduce Closed-Loop Trace Distillation, a pipeline that uses a per-task coding agent to inspect labeled training traces and distill a one-line natural-language prompt over the trace, which we call the Distilled Reading Heuristic (DRH). At inference, no agent is invoked and no model weights are updated; a frozen VLM receives the raw trace plus the DRH as a prompt entry. Across three simulator and two real-robot tasks, the DRH improves chain accuracy by +0.38 to +0.47 over the best raw-modality baseline. The same DRH also serves as the sole specification for one-shot programmatic classifiers that match the prompted VLM.
- Abstract（参考訳）: 探索的な操作はしばしば、次に何をすべきかを示す重要な証拠に明らかに失敗した試みを回す。
例えば、ロボットはロックされたキャビネットの引き出しを引っ張り、失敗し、ロックを開けた後だけ成功します。
失敗したプルは、最小レベルのアクションチェーン(タスクを完了する最も小さなアクション)を決定する潜伏した前提条件(引き手はロックされている)を明らかにします。
したがって、このトレースを正しく読むことが、そのチェーンを回復するための必須条件である。
我々は,この設定を探索操作トレースQA (Exploratory Manipulation Trace QA:EMT-QA) として定式化した。
しかし、最先端のVLMや具現化されたマルチモーダルLLMでさえも、この証拠を誤読している。
このパイプラインは、タスク毎のコーディングエージェントを使用して、ラベル付きトレーニングトレースを検査し、トレース上で1行の自然言語プロンプトを蒸留する。
推測では、エージェントは起動されず、モデルウェイトも更新されず、凍結されたVLMは、生のトレースとDRHを即時エントリとして受信する。
3つのシミュレーターと2つの実ロボットタスクで、DRHは最高の生モダリティベースラインに対して+0.38から+0.47に精度を向上する。
同じDRHは、引き起こされたVLMと一致するワンショットプログラム分類器の唯一の仕様としても機能する。
関連論文リスト
- How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method [4.37919186746582]
ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。
我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。
SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
論文 参考訳（メタデータ） (2026-09-04T15:30:22Z) - SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training [7.018753691717986]
事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
論文 参考訳（メタデータ） (2026-08-11T15:12:14Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳（メタデータ） (2026-08-02T08:38:44Z) - Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents [0.0]
出力トークンが出力される前に,アクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを検討する。
第3に,マルチターンフィルタを累積情報フロー問題として扱う。
その結果、クレデンシャル・エミッション・ディフェンスは、事前出力監視、カナリア検出、時間的漏洩会計を併用すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-06-02T18:53:17Z) - AgentCollabBench: Diagnosing When Good Agents Make Bad Collaborators [0.0]
AgentCollabBenchは、ソフトウェアエンジニアリング、DevOps、データエンジニアリングにまたがる900の人為的なタスクの診断ベンチマークです。
各タスクは、4つの行動リスクのうちの1つを分離する。
GPT 4.1 mini, Gemini 2.5 Flash Lite, Qwen-3.5-35B-A3B, Llama 3.1 8B の4つの近代LCMの評価を行った。
通信トポロジは、マルチホップ情報サバイバルにおけるばらつきの7-40%を説明する主要なリスクファクターとして現れる。
論文 参考訳（メタデータ） (2026-05-09T03:35:09Z) - How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。
最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。
我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文 参考訳（メタデータ） (2026-03-09T17:38:11Z) - The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers [2.2374050209578864]
本稿では、因果言語モデルにおける睡眠エージェントスタイルのバックドアを特定するための実用的なスキャナを提案する。
まず、睡眠薬は中毒データを記憶する傾向があるため、バックドアのサンプルを漏らすことが可能です。
提案手法は,複数のバックドアシナリオと広範囲のモデルにまたがる動作トリガを復元することを示す。
論文 参考訳（メタデータ） (2026-02-03T04:17:21Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-10-12T07:42:57Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - A Self-Training Method for Machine Reading Comprehension with Soft
Evidence Extraction [89.88061141170512]
機械読解モデルの学習のための自己学習法(STM)を提案する。
各イテレーションにおいて、ベースMCCモデルは、黄金の回答とノイズの多いエビデンスラベルで訓練される。
トレーニングされたモデルは、偽の証拠ラベルを次のイテレーションで追加の監督として予測する。
論文 参考訳（メタデータ） (2020-05-11T15:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。