論文の概要: Language-Augmented Video Action Anticipation: Design Fundamentals, Benchmarks, and Open Challenges
- arxiv url: http://arxiv.org/abs/2609.31665v2
- Date: Wed, 30 Sep 2026 14:41:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.141722
- Title: Language-Augmented Video Action Anticipation: Design Fundamentals, Benchmarks, and Open Challenges
- Title（参考訳）: 言語強化されたビデオアクション予測:設計基本、ベンチマーク、オープンチャレンジ
- Abstract要約: アクション予測は、不完全な文脈と時間的不確実性の下で部分的なビデオから将来の人間の行動を予測する。
近年のシステムでは,大規模言語モデル (LLM) や視覚言語モデル (VLM) ,言語由来のセマンティクスを異なる段階で導入している。
このレビューは、言語由来の情報が介入する地点でタスク体制を横断するエビデンス対応のデザインマップである。
- 参考スコア（独自算出の注目度）: 3.7628606544362913
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Action anticipation predicts future human actions from partial video under incomplete context and temporal uncertainty. Recent systems introduce large language models (LLMs), vision-language models (VLMs), or language-derived semantics at different stages, but reported gains are difficult to interpret when task formulation, visual pretraining, supervision, decoder design, and evaluation code change simultaneously. The central contribution of this review is an evidence-aware design map that crosses task regime with the point at which language-derived information intervenes. We characterise task regimes along six axes. These axes organise the literature into five broad task families: single-action, sequence, object-interaction, cross-view, and planning-oriented settings. C1-C3 locate interventions in context construction, goal/intention modelling, and future decoding, while C4 is treated as an adjacent, emerging grounding/executability extension. Unlike a generic processing pipeline, the map links each intervention to an appropriate counterfactual, failure diagnosis, and permissible evidence claim. Supporting contributions include a protocol-level audit of Ego4D-LTA and EPIC-KITCHENS-100, a multidimensional evidence profile, and the Backbone-Aware Comparison and Ablation Protocol (BCAP). The unresolved EK-100 record is treated as a reporting-comparability case study and is not used as a leaderboard. Evidence for LLM benefits, goal ambiguity, and horizon effects is therefore formulated as testable hypotheses requiring matched validation, not as causal conclusions. The accompanying package contains the coded evidence, source locators, protocol metadata, and versioned catalogue used in the review.
- Abstract（参考訳）: アクション予測は、不完全な文脈と時間的不確実性の下で部分的なビデオから将来の人間の行動を予測する。
近年のシステムでは,大規模言語モデル (LLM) や視覚言語モデル (VLM) ,あるいは言語由来のセマンティクスを異なる段階で導入している。
このレビューの中心的な貢献は、言語由来の情報が介在するポイントとタスク体制を横断するエビデンス対応のデザインマップである。
我々は6つの軸に沿ってタスク体制を特徴づける。
これらの軸は文学を、単一アクション、シーケンス、オブジェクトインタラクション、クロスビュー、計画指向設定の5つの広いタスクファミリーにまとめる。
C1-C3 はコンテキスト構築、ゴール/インテンションモデリング、将来のデコードへの介入を検知し、C4 は隣接する接地/実行可能性拡張として扱われる。
汎用的な処理パイプラインとは異なり、マップは各介入を適切な対応、障害診断、許容可能な証拠主張にリンクする。
コントリビューションには、Ego4D-LTAとEPIC-KITCHENS-100のプロトコルレベルの監査、多次元エビデンスプロファイル、Backbone-Aware Comparison and Ablation Protocol (BCAP)が含まれる。
未解決のEK-100レコードは、レポート互換ケーススタディとして扱われ、リーダーボードとして使用されない。
LLMの利点、目的のあいまいさ、地平線効果の証拠は、因果的な結論ではなく、一致した検証を必要とする検証可能な仮説として定式化される。
付属するパッケージには、コード化されたエビデンス、ソースロケータ、プロトコルメタデータ、レビューで使用されるバージョン付きのカタログが含まれている。
関連論文リスト
- ProtoLIP: From Sentence-Level to Object-Level Evidence Disentanglement [32.493558609275546]
軽量なプロトタイプによるエビデンス層である textbfProtoLIP を紹介する。
ProtoLIPは再利用可能な視覚プロトタイプをテキスト由来のセマンティックファミリーに整理する。
ProtoLIPは、そのマッチングスコアを、ローカライズされたプロトタイプエビデンスから直接構築する。
論文 参考訳（メタデータ） (2026-09-14T19:39:57Z) - MOONWALK: Mediating Operations with Intent-Evidence-Action Alignment Across Junior-Supervisor Review Workflows in Animation/VFX Pre-Production [16.937249755182453]
アニメーションとVFXプレプロダクションレビューでは、チームは、緩やかに指定された創造的な意図、進化した仕様、異質な参照、そして口頭で決定を翻訳する必要がある。
インテントは共有プロジェクトレコードに具体化され、判断は根拠付きエビデンスに固定され、承認された決定はリファレンスノートに直接関連付けられた明確なリビジョンタスクに変換される。
このフレームワークは、共有意図記録、参照/特定アンカー、構造化されたワーク・イン・プログレス比較、およびスーパーバイザからなるプロ向けプレプロダクションレビューシステムであるMOONWALKでインスタンス化される。
論文 参考訳（メタデータ） (2026-09-09T16:10:29Z) - SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation [58.75109156710544]
本稿では,結果指向のビデオ生成タスクであるSemantic Task Completion Video Generationを紹介する。
この定式化の下では、成功には意図された成果の達成と意味的根拠の両方が必要である。
6つの領域をカバーする評価データセットであるSemComp-Dataを構築した。
本稿では、視覚言語モデル(VLM)を用いて、構造化された二項質問に答える評価プロトコルであるSemComp-Benchを紹介する。
論文 参考訳（メタデータ） (2026-08-18T06:45:07Z) - TRACE: An Operational Reasoning Schema for Auditable Agentic Commitments [0.0]
TRACE (Typed Reasoning And Commitment Evidence) は、推論トレースを記録するためのタイプ付きバージョン付きスキーマである。
論文は3つのレイヤで、推論は言語モデルにはない、と論じている。
レコード消費者契約は、レコードが保証するものと、その見返りに消費者が尊重すべきものを記述する。
論文 参考訳（メタデータ） (2026-07-14T08:08:21Z) - Agentic Collaborative Cognition for Zero-Shot 3D Understanding [57.854375071638856]
本研究では,高レベル視点計画の処理に計画エージェントを割り当てる協調型マルチエージェントフレームワークを提案する。
知覚エージェントは、3Dシーンを構造化された全体的認知マップに明示的に要約する。
ScanReferでは11.1%のAcc@0.5、3D支援ダイアログでは14.6 BLEU-1、SQA3Dでは2.1 EM、最先端の6ベンチマークでは2.1 EMを実現している。
論文 参考訳（メタデータ） (2026-06-23T14:44:04Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳（メタデータ） (2026-05-20T03:44:06Z) - DocCogito: Aligning Layout Cognition and Step-Level Grounded Reasoning for Document Understanding [33.438739790416655]
我々は,グローバルなレイアウト認識と,構造化された地域的推論を統合した統合フレームワークDocCogitoを提案する。
6つのベンチマークで行った実験では,4つのベンチマークで最先端の結果が得られた。
論文 参考訳（メタデータ） (2026-03-08T06:34:48Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。