論文の概要: GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
- arxiv url: http://arxiv.org/abs/2611.00319v1
- Date: Fri, 30 Oct 2026 19:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.393449
- Title: GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport
- Title（参考訳）: GAVAGAI:バランスの取れた最適輸送による乳幼児の視覚・言語モデルに対する参照アライメント
- Abstract要約: 子供は、入力の約1億の単語からどの単語の名前かを学びます。
比較スケールで訓練された視覚言語モデルは、参照に単語をバインドする。
我々は,各シーンを,聞き取られた内容語と見る領域間の小さな代入問題として扱うことで,そのような変数を追加する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A child learns which words name which things from roughly 100 million words of input. Vision-language models trained at a comparable scale bind words to referents far less reliably, and we argue that part of the gap is structural: the usual next-token captioning objective has no variable standing for "this word refers to that region," so training applies no direct pressure to ground words. We add such a variable by treating each scene as a small assignment problem between the content words heard and the regions seen, solved as entropic optimal transport under two constraints. First, a word may be assigned to a special NOTHING column instead of any region, which matters because most content words in caregiver speech do not name anything visible. Second, no region may receive more than a bounded share of the assignment mass, a capacity constraint that encodes mutual exclusivity. The alignment step costs about eight Sinkhorn iterations, small next to the vision encoder. In controlled simulation, the naive version of the idea, a row-wise softmax that forces every word onto some region, collapses to 0.000 word-to-picture accuracy under realistic non-reference rates, below the 0.058 of captioning alone, while our two constraints reach 0.075 in that regime and 0.700 on clean input. A one-parameter version of the model reproduces adult cross-situational learning accuracy across three ambiguity conditions (RMSE 0.024). On the SAYCam infant video corpus, adding the alignment loss to a next-token captioning model raises word-to-picture accuracy from 32.4% to 48.7% and localization IoU from 0.18 to 0.38. A contrastive model trained on the same child's data remains stronger on its own benchmark, so our claim is that the loss improves a captioning objective under high non-reference rates, not that it sets a new best.
- Abstract（参考訳）: 子供は、入力の約1億の単語からどの単語の名前かを学びます。
比較スケールで訓練された視覚言語モデルは、参照に対して単語をはるかに確実に結合させることができず、また、そのギャップの一部は構造的であると主張する。
本研究では,各シーンを2つの制約下でのエントロピー的最適輸送として解決した内容語と見る領域間の小さな割当問題として扱うことで,このような変数を追加する。
第一に、単語は任意の領域ではなく特別なNOTHINGカラムに割り当てられることがある。
第二に、どの領域も割り当て質量の有界な共有しか得られず、これは相互排他性を符号化する容量制約である。
アライメントステップは約8回のSinkhornイテレーションで、視覚エンコーダの横に小さい。
制御されたシミュレーションでは、ある領域にすべての単語を強制する行ワイドのソフトマックスであるこのアイデアは、現実的な非参照レートで0.000ワード・ツー・ピクチャの精度に崩壊し、キャプションの0.058未満で、我々の2つの制約は、その状態において0.075、クリーン入力では0.700に達する。
このモデルの1パラメータバージョンは、3つのあいまいさ条件(RMSE 0.024)にわたる成人の断面積学習の精度を再現する。
SAYCamの乳児ビデオコーパスでは、次のトーケンキャプションモデルにアライメント損失を加えると、ワード・ツー・ピクチャの精度が32.4%から48.7%、IoUのローカライゼーションが0.18から0.38に上昇する。
同じ子供のデータに基づいてトレーニングされた対照的なモデルが、自身のベンチマークでは依然として強いままなので、この損失は、新しいベストを設定するのではなく、高い非参照レート下でキャプション目標を改善するという主張です。
関連論文リスト
- Prosodic Structure as a Critical Component in Phonemic Language Modelling at BabyLM Scale [10.026496861838448]
幼児の韻律推定値の供給がBabyLMスケールでの音韻言語モデリングを改善するかどうかを問う。
全ての条件は、BERTLMとして1000万語と1億語で訓練される。
我々の新しい語彙決定タスクは、単語の類似性、トークンの親しみ、および語彙を要因として区別する知見を改良する。
論文 参考訳（メタデータ） (2026-10-16T19:46:34Z) - Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally [0.713496583173065]
目標摂動は、固定された目標キャプションに対する教師による訓練損失を、視覚シリアルモデル(VLM)のほぼゼロに駆動することができる。
我々はこの解離を列車/干渉ギャップと呼び、Qwen2.5-VL-7B-Instructの正確な機械的説明を与える。
論文 参考訳（メタデータ） (2026-10-02T15:27:28Z) - The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders [0.0]
子ども向け・読み上げ音声でトランスフォーマーエンコーダを訓練し、英語、フランス語、マンダリンの音素ABXを10種で評価する。
アーキテクチャではなく,目的が狭い形状の表現的変化の1次決定因子である,と結論付けている。
論文 参考訳（メタデータ） (2026-08-01T08:02:35Z) - Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars [0.11199585259018456]
手話は、世界的な聴覚障害と難聴者コミュニティにとって、コミュニケーションの第一の手段である。
本稿では,短い手話ビデオクリップを英語の単語ラベルに分類する2段階のディープラーニングパイプラインを提案する。
予測された英語のラベルをヒンディー語、テルグ語、ベンガル語に翻訳する。
論文 参考訳（メタデータ） (2026-06-21T13:33:27Z) - Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。
単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。
Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-11T17:41:01Z) - Perception Encoder: The best visual embeddings are not at the output of the network [70.86738083862099]
本稿では、単純な視覚言語学習によって訓練された画像と映像の理解のための視覚エンコーダであるPerception (PE)を紹介する。
対照的な視覚言語学習だけでは、これらの下流タスクに強力な汎用的な埋め込みを実現できることが分かっています。
PEモデル群は,多種多様なタスクにおいて,クラス内で最高の結果が得られる。
論文 参考訳（メタデータ） (2025-04-17T17:59:57Z) - The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning [89.64905703368255]
ゼロショットビデオキャプションのためのプログレッシブな多粒性テキストプロンプト戦略を提案する。
提案手法は,名詞句,名詞句のシーングラフ,全文を含む3つの異なる記憶バンクを構築する。
論文 参考訳（メタデータ） (2025-03-31T03:00:19Z) - A Simple Framework for Open-Vocabulary Zero-Shot Segmentation [50.58626342189163]
SimZSSはオープン語彙のZero-Shotセグメンテーションのためのフレームワークである。
テキストと言語知識の離散的な性質を利用して、字幕内の局所的な概念をピンポイントする。
SimZSSは,8つのベンチマークデータセットのうち7つについて,15分以内で最先端の結果を達成している。
論文 参考訳（メタデータ） (2024-06-23T11:57:08Z) - Improved Visual Grounding through Self-Consistent Explanations [58.51131933246332]
本稿では,大規模な言語モデルを用いて,既存のテキスト画像データセットをパラフレーズで拡張するための戦略を提案する。
SelfEQは、自己整合性を促進するパラフレーズの視覚的説明地図に関する弱教師付き戦略である。
論文 参考訳（メタデータ） (2023-12-07T18:59:22Z) - Contrastive Learning for Weakly Supervised Phrase Grounding [99.73968052506206]
単語領域の注目度を最適化することにより,句の接頭辞が学習可能であることを示す。
キーとなる考え方は、言語モデルに基づく単語置換を通して学習するための効果的な負のキャプションを構築することである。
COCO-Captionsでトレーニングされた弱い教師付きフレーズグラウンドモデルは、Flickr30Kベンチマークで76.7%の精度を達成するために、健全な5.7%の上昇を示している。
論文 参考訳（メタデータ） (2020-06-17T15:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。