論文の概要: NoRA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning

• arxiv url: http://arxiv.org/abs/2606.04806v1
• Date: Wed, 03 Jun 2026 12:30:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.748273
• Title: NoRA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning
• Title（参考訳）: NoRA:視覚的ファースト・パーソン・ノーマティブ・アクション・推論におけるグラウンドド・リゾナブル性の評価
• Authors: Sichao Li, Sai Ma, Daniel Kilov, Secil Yanik Guyot, Zhuang Li, Seth Lazar,
• Abstract要約: NoRAは視覚的なファーストパーソンビデオベンチマークであり、次のアクションを生成するためにモデルを必要とする。 12のマルチモーダルシステムを、直接的、意図的、構造化されたプロンプトレジームの下でベンチマークする。 NoRAはこのギャップを計測可能とし、モデルがアクションを選択できるかどうかから、適切なアクションを適切な可視性のために正当化できるかどうかへと、評価質問をシフトさせる。
• 参考スコア（独自算出の注目度）: 6.7194547965054054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs and agentic systems are increasingly deployed in social environments, making normative competence critical for safe and appropriate behavior. However, existing approaches either assess normative judgment in text alone or reduce it to choosing among a fixed set of candidate actions. We argue both are insufficient. In practice, agents are never handed a menu of options; they must identify a reasonable action from scratch, grounded in visible facts and supported by inspectable reasons. We introduce NoRA, a visual first-person video benchmark that requires models to generate candidate next actions and justify each through an explicit fact-reason-action support graph. The benchmark comprises 1,420 annotated video clips, including HumanGold-190 and LLMSilver-1230 splits. Each instance is evaluated through action alignment, factual grounding, and support binding, aggregated into a single grounded reasonableness score. We benchmark 12 multimodal systems under direct, deliberate, and structured prompting regimes, finding that current VLMs frequently recover plausible actions and relevant scene facts, but consistently struggle to construct the full reasonable action space and bind selected actions to the correct local support. NoRA makes this gap measurable, shifting the evaluation question from whether a model can pick an action to whether it can justify an appropriate action for the right visible reasons.
• Abstract（参考訳）: LLMやエージェントシステムはますます社会的環境に展開され、安全で適切な行動に規範的な能力が不可欠になっている。 しかし、既存のアプローチでは、テキスト単独で規範的判断を評価するか、あるいは候補アクションの固定セットの中から選択するように減らすかのいずれかである。 どちらも不十分だと主張する。 実際には、エージェントは選択肢のメニューを渡されることはない。それらはスクラッチから合理的なアクションを識別し、目に見える事実に基づいて、検査可能な理由によって支持されなければならない。 視覚的ファーストパーソンビデオベンチマークであるNoRAを導入し、モデルが候補となる次のアクションを生成し、各アクションを明示的なファクト・レアソン・アクション・サポートグラフで正当化する。 ベンチマークには、HumanGold-190やLLMSilver-1230スプリットを含む1,420の注釈付きビデオクリップが含まれている。 各インスタンスは、アクションアライメント、ファクトグラウンド、サポートバインディングを通じて評価され、単一のグラウンドド合理的スコアに集約される。 我々は,12のマルチモーダルシステムを直接的,故意的,構造的にプロンプトする体制の下でベンチマークし,現在のVLMが妥当なアクションと関連するシーン事実を頻繁に回復するが,完全な合理的なアクション空間を構築し,選択したアクションを適切なローカルサポートに結び付けるのに一貫して苦労していることを発見した。 NoRAはこのギャップを計測可能とし、モデルがアクションを選択できるかどうかから、適切なアクションを適切な可視性のために正当化できるかどうかへと、評価質問をシフトさせる。

関連論文リスト

• The Evaluation Game: Beyond Static LLM Benchmarking [2.168753020470345]
  本稿では,評価者とトレーナーの相互作用を2人プレイヤゲームとして形式化するゲーム理論フレームワークを提案する。 モデルの局所性依存性を示す実証的証拠を提供する。 ベンチマークは静的なプロンプトのセットではなく,評価者のグループアクションの下での軌道である。
  論文  参考訳（メタデータ） (2026-05-19T05:22:21Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Are LLMs Vulnerable to Preference-Undermining Attacks (PUA)? A Factorial Analysis Methodology for Diagnosing the Trade-off between Preference Alignment and Real-World Validity [45.92643973404507]
  我々は,協調型モデルが,操作的プロンプト戦略のクラスであるpreference-Undermining Attacks (PUA) に対して脆弱であるかどうかを検討する。 驚くべきことに、より高度なモデルは、時にはマニピュティブなプロンプトに影響を受けやすい。
  論文  参考訳（メタデータ） (2026-01-10T15:16:23Z)
• Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
  この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。 CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。 大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
  論文  参考訳（メタデータ） (2025-12-30T19:04:17Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Stress Testing Deliberative Alignment for Anti-Scheming Training [39.16405205129775]
  高い能力を持つAIシステムは、私たちが"スケジュール"と呼ぶ、ミスマッチした目標を秘密裏に追求できる スキーマの測定と緩和には、MLで一般的に使用される方法とは異なる戦略が必要である。 ルールを秘密裏に破ったり、テストで意図的に過小評価したりするなど、幅広いカテゴリの"カバレッジアクション"を、スケジューリングのプロキシとして使用しています。
  論文  参考訳（メタデータ） (2025-09-19T02:49:56Z)
• SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
  論文  参考訳（メタデータ） (2025-07-10T05:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。