論文の概要: A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data
- arxiv url: http://arxiv.org/abs/2608.08663v1
- Date: Sun, 09 Aug 2026 12:14:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.911193
- Title: A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data
- Title(参考訳): 視覚的知覚データにおける人間参照表現のグラウンド化のための動的セマンティックスフレームワーク
- Abstract要約: 本稿では,パクト状態を3つの明示的で検査可能な参照オブジェクトバインディングに外部化するフレームワークを提案する。
スタンフォード・リピート・レファレンス・ゲーム・コーパス(Stanford Repeated Reference Game corpus)のフレームワークについて検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans converge on shared names for novel, hard-to-describe objects through repeated interaction, a process psycholinguists call lexical entrainment. Leading vision-language models fail at this: recent empirical work documents that they do not shorten references, reuse successful expressions, or maintain stable pact state across turns. We present a framework that addresses the gap by externalizing pact state into three explicit, inspectable sets of referent-object bindings ($Γ, Ξ, Ω$), updated by a dynamic-semantics context-change rule. The symbolic layer sits on top of a lightweight perceptual-alignment pipeline that grounds noisy human referring expressions in crowd-sourced imagery via SIFT homographies and the Universal Quality Index. Evaluated on the Stanford Repeated Reference Game corpus (over 15{,}000 director-matcher utterances on abstract tangram stimuli), the framework places the correct target in its top-5 hypothesis set 83.56% of the time from a single director utterance. Human matcher top-1 accuracy on the same corpus is approximately 77-80%. We also report results on a held-out condition in which obvious tangram-adjacent images are excluded from the retrieved set, which provides a more conservative measurement of the grounding signal. Ablations isolate the contribution of each component: SIFT alignment, UQI, query preprocessing, and image augmentation. The central contribution is the combination: a transparent, auditable symbolic layer that recovers the structure of lexical entrainment turn by turn, paired with a perceptual channel whose behavior can be examined ablation by ablation. We also discuss in detail what the framework does not do. It is not interactive, it does not close the loop with the director, and its retrieval-driven perceptual channel is vulnerable to a class of leakage effects that we quantify and bound rather than wave away.
- Abstract(参考訳): 人間は、反復的な相互作用を通じて、新しくてわかりにくいオブジェクトの共有名に収束する。
最近の経験的作業資料では、参照を短くしたり、成功した式を再利用したり、ターン間で安定したパクト状態を維持したりしない。
動的意味論的文脈変化規則によって更新された3つの明示的で検査可能な参照対象結合(英語版)の集合にパクト状態を外部化し、そのギャップに対処する枠組みを提案する。
シンボリックレイヤは、SIFTホモグラフとユニバーサル品質指標を通じて、クラウドソース画像中のノイズの多い人間の参照表現を基盤とする、軽量な知覚アライメントパイプラインの上に位置する。
スタンフォード・リピーテッド・リファレンス・ゲーム・コーパス(抽象的タングラム刺激による15,000人以上のディレクター・マーチャー発話)で評価され、このフレームワークは正しいターゲットを1人のディレクターの発話から83.56%の時間をそのトップ5仮説に配置する。
同じコーパス上のヒトマーカトップ1の精度は約77-80%である。
また, タングラムに隣接した画像が抽出された集合から除外され, グラウンド信号のより保守的な測定が可能となるホールドアウト条件について報告する。
アブレーションはSIFTアライメント、UQI、クエリ前処理、画像拡張といった各コンポーネントのコントリビューションを分離する。
中心的なコントリビューションは、透明で監査可能なシンボル層で、レキシカルエントレメントのターンの構造をターンで復元し、アブレーションによってアブレーションを調べることができるパーセプティカルチャネルとペアリングする。
また、フレームワークが何をしていないのかを詳細に議論する。
インタラクティブではないし、ディレクタとのループを閉じていないし、その検索駆動の知覚チャネルは、私たちが飛び降りるのではなく、定量化しバウンドするリーク効果のクラスに弱い。
関連論文リスト
- Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors [7.647944993041615]
本稿では,Dual-Stream Cross-Anchor Correction (DSCC)を提案する。
後処理の復号処理とは異なり、DSCCは微調整中にオブジェクトレベルの視覚アンカーを言語モデル自体に注入する。
実験は長いカプセル化幻覚、オブジェクト存在差別、ドメイン間の一般化にまたがる。
論文 参考訳(メタデータ) (2026-08-13T02:52:58Z) - Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。
1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
論文 参考訳(メタデータ) (2026-08-11T15:07:28Z) - Representation and Reference Selection in Training-Free Synthetic Image Attribution [20.117588342501758]
合成画像属性は、与えられたAI生成画像に責任があるジェネレータを特定することを目的としている。
我々は、参照とオフザシェルフ事前学習表現を用いて、この相互作用を制御した分析を行う。
その結果, 帰属精度は中間表現レベルで常にピークとなることがわかった。
論文 参考訳(メタデータ) (2026-07-13T18:10:39Z) - Cross-domain benchmarks reveal when coordinated AI agents improve scientific inference from partial evidence [1.1458853556386797]
コーディネートされたAIエージェントが、より単純な科学的証明タスクよりも価値を付加するかどうかを評価する。
例えば、分子構造を音楽表現にマッピングし、科学における歴史的パラダイムシフトを検知し、トランジット・太陽系外惑星候補を審査する。
結果: 異なる分野がそれぞれ現象の一部のみを捕捉すると, クロスチャネルコンポジットは単一チャネルベースラインよりも改善する。
論文 参考訳(メタデータ) (2026-05-21T10:46:50Z) - RelWitness: Open-Vocabulary 3D Scene Graph Generation with Visual-Geometric Relation Witnesses [1.3468350096927395]
不完全な関係管理の下で提案したRGB-Dシークエンスからオープン語彙の3Dシーングラフを生成するフレームワークを提案する。
重要なコンセプトは関係の証人であり、キャプチャーされたシーンで関係を観察できる具体的な視覚幾何学的キューである。
RelWitnessはRGBビュー、深度マップ、再構成された3D幾何、ロールセンシティブなテキスト、オブジェクト-プリアヌルビュー、マルチビュー一貫性から関係証記録を構築する。
論文 参考訳(メタデータ) (2026-05-20T07:18:56Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2025-12-12T10:39:10Z) - Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition [41.77490816513839]
ゼロショットスケルトン動作認識のための新しい手法を,$texttt$textbfFlora$$として提案する。
具体的には、方向対応の地域意味論と相互整合性目標を取り入れたテキスト意味論を実践する。
3つのベンチマークデータセットによる実験により,本手法の有効性が検証された。
論文 参考訳(メタデータ) (2025-11-12T14:54:53Z) - Generalized Visual Relation Detection with Diffusion Models [94.62313788626128]
視覚的関係検出(VRD)は、画像内のオブジェクトペア間の関係(または相互作用)を特定することを目的としている。
本稿では,視覚的関係を連続的な埋め込みとしてモデル化し,一般化されたVRDを条件付き生成方法で実現するための拡散モデルの設計を提案する。
我々のDiff-VRDは、予め定義されたデータセットのカテゴリラベルを超えて、視覚的な関係を生成できる。
論文 参考訳(メタデータ) (2025-04-16T14:03:24Z) - Transitivity Recovering Decompositions: Interpretable and Robust
Fine-Grained Relationships [69.04014445666142]
Transitivity Recovering Decompositions (TRD) は、抽象的な創発的関係の解釈可能な等価性を識別するグラフ空間探索アルゴリズムである。
TRDは明らかにノイズの多い見方に対して堅牢であり、実証的な証拠もこの発見を支持している。
論文 参考訳(メタデータ) (2023-10-24T16:48:56Z) - Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。
提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
論文 参考訳(メタデータ) (2023-08-19T05:34:13Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳(メタデータ) (2023-06-03T11:50:44Z) - High-Order Information Matters: Learning Relation and Topology for
Occluded Person Re-Identification [84.43394420267794]
本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。
我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
論文 参考訳(メタデータ) (2020-03-18T12:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。