論文の概要: Auditing Semantic and Relational Reliability in Open-Vocabulary Human-Object Interaction Evaluation

• arxiv url: http://arxiv.org/abs/2610.25849v1
• Date: Mon, 19 Oct 2026 06:06:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:33:46.248919
• Title: Auditing Semantic and Relational Reliability in Open-Vocabulary Human-Object Interaction Evaluation
• Title（参考訳）: オープン・ボキャブラリ・ヒューマン・オブジェクト・インタラクション評価における意味的・関係的信頼性の検討
• Abstract要約: カテゴリースコアリングは有効なパラフレーズを拒絶するが、セマンティックな類似度スコアリングは、間違ったアクションを名づけた予測や、参加者の役割を逆転させることができる。 我々は,全ての予測を固定し,公式なカテゴリー評価,アイデンティティ制御,語彙正規化,格付けされたセマンティッククレジット,厳格な命題等価性という5つの視点で評価する診断プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.15293427903448023
• License:
• Abstract: Open-vocabulary human-object interaction detectors describe interactions in free text, and this creates a problem for evaluation. Category scoring rejects valid paraphrases, while semantic similarity scoring can reward predictions that name the wrong action or reverse the roles of the participants. We present a diagnostic protocol that holds every prediction fixed and scores it under five views, namely official category evaluation, an identity control, lexical normalization, graded semantic credit, and strict propositional equivalence. Comparing these views separates the effect of the matching engine from the effect of semantic credit. The protocol pairs controlled transformations that preserve or break meaning with a blinded audit of natural predictions, and we derive consistency checks that link mean credit, invalid acceptance, and transformation counts. Applied to six systems on HICO-DET, the views disagree on which system leads. GEN-VLKT leads under official evaluation, SL-HOI leads under SHOE, and GEN-VLKT leads again under strict equivalence. Semantic gains range from 1.6 to 20.3 mAP, and AgentHOI keeps less than half of its gain once equivalence is enforced. We recommend that semantic scores be reported together with relational validity and paired uncertainty, so that recovered credit is not read as better interaction understanding.
• Abstract（参考訳）: オープン・ボキャブラリ・ヒューマン・オブジェクト・インタラクション・ディテクターは自由テキストでのインタラクションを記述する。 カテゴリースコアリングは有効なパラフレーズを拒絶するが、セマンティックな類似度スコアリングは、間違ったアクションを名づけた予測や、参加者の役割を逆転させることができる。 我々は,全ての予測を固定し,公式なカテゴリー評価,アイデンティティ制御,語彙正規化,格付けされたセマンティッククレジット,厳格な命題等価性という5つの視点で評価する診断プロトコルを提案する。 これらのビューを比較することは、マッチングエンジンの効果とセマンティッククレジットの効果を区別する。 プロトコルペアは、自然予測の盲点監査で意味を保存または破壊する変換を制御し、平均クレジット、無効受容、変換カウントをリンクする一貫性チェックを導出する。 HICO-DETの6つのシステムに適用される。 gen-VLKTは公式に評価され、SL-HOIはSHOE、gen-VLKTは厳格に等価である。 セマンティックゲイン(Semantic gains)は1.6から20.3 mAPの範囲であり、AgentHOIは等価化が実施されればその利得の半分以下を保持する。 セマンティックスコアは、関係妥当性とペアの不確実性と共に報告されることを推奨する。

関連論文リスト

• CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production [0.0]
  CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。 CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
  論文  参考訳（メタデータ） (2026-09-24T19:10:52Z)
• Intrinsic-Extrinsic Coupling in Learning Dynamics [0.0]
  制約付き学習状態介入の継続条件値を用いて本質的・外生的結合を定式化する。 我々は,地域の許容度,継続条件付き介入値,完全政治性能を区別する。
  論文  参考訳（メタデータ） (2026-09-24T17:30:22Z)
• Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability [0.0]
  Certified Interventional Fidelity (CIF)は、介入解釈可能性評価のための統計層である。 CIFは、高忠実性クレームを認定し、明らかな方法の違いが統計的にサポートされていないことを示し、介入分布に対する感度を明示する。
  論文  参考訳（メタデータ） (2026-07-09T10:55:04Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
  オートレーダは、評価と自動モデレーションコンテンツにますます使われています。 ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
  論文  参考訳（メタデータ） (2026-05-07T13:55:11Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• SHOE: Semantic HOI Open-Vocabulary Evaluation Metric [28.578980275126707]
  新しい評価フレームワークであるSHOE(Semantic HOI Open-Vocabulary Evaluation)を紹介する。 SHOEは予測されたHOIラベルと接地したHOIラベルのセマンティックな類似性を取り入れている。 その結果、SHOEスコアは既存の指標よりも人間の判断と密接に一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-02T03:53:39Z)
• Verifiable Semantics for Agent-to-Agent Communication [0.2866560512724962]
  マルチエージェントAIシステムは一貫した通信を必要とする。 自然言語は解釈可能であるが、セマンティックドリフトに弱い。 そこで本研究では,刺激意味モデルに基づく認証プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-18T12:55:58Z)
• Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
  セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。 2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-19T06:31:06Z)
• Hi Model, generating 'nice' instead of 'good' is not as bad as generating 'rice'! Towards Context and Semantic Infused Dialogue Generation Loss Function and Evaluation Metric [46.26506372710482]
  本稿では,Semantic Infused Contextualized diaLogue (SemTextualLogue) ロス関数を提案する。 また、文脈と意味的関連性の両方を取り入れて、Dialuationと呼ばれる評価指標を定式化する。
  論文  参考訳（メタデータ） (2023-09-11T20:16:38Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。