Fugu-MT 論文翻訳(概要): From Modalities to Propositions: A Language-Centric Framework for Multimodal Intelligence

論文の概要: From Modalities to Propositions: A Language-Centric Framework for Multimodal Intelligence

arxiv url: http://arxiv.org/abs/2607.16560v1
Date: Sat, 18 Jul 2026 00:08:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-21 18:48:37.18763
Title: From Modalities to Propositions: A Language-Centric Framework for Multimodal Intelligence
Title（参考訳）: モダリティから命題へ:マルチモーダルインテリジェンスのための言語中心のフレームワーク
Abstract要約: 本稿では,画像,ビデオ,テキストなど,あらゆる観察をアトミックな命題の袋として表現するマルチモーダルデータに対する言語表現を提案する。グローバルセマンティックコードブックはこれらを標準原子命題の共通語彙に統一する。自動運転とオープンワールドデータに関するフレームワークを実演する。
参考スコア（独自算出の注目度）: 32.47084374717649
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a language representation for multimodal data in which any observation, whether image, video, or text, is expressed as a bag of atomic propositions, simple statements about the entities, actions, and relations in a scene. A global semantic codebook unifies these into a shared vocabulary of canonical atomic propositions, placing every modality and observation into one interpretable space that spans fine grained facts to high level concepts and composes into richer ones. This brings interpretability with reasoning, cross-modal understanding and retrieval, and compositionality that enables complex multimodal understanding, rich data curation and complex structured retrieval. We demonstrate the framework on autonomous driving and open-world data.
Abstract（参考訳）: 本稿では,映像,映像,テキストのいずれにおいても,シーン内の実体,行動,関係に関する簡単な記述をアトミックな命題の袋として表現する多モーダルデータに対する言語表現を提案する。グローバル・セマンティック・コードブックはこれらを正準原子命題の共通語彙に統一し、すべてのモダリティと観察を1つの解釈可能な空間に配置する。これは、推論、クロスモーダルな理解と検索、複雑なマルチモーダルな理解、豊富なデータキュレーション、複雑な構造化された検索を可能にする構成性による解釈性をもたらす。自動運転とオープンワールドデータに関するフレームワークを実演する。

関連論文リスト

Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms [70.51538670020267]
本稿では,フィールドを2つの主次元(マルチモーダルデータセットとマルチモーダルメソッド)に分類する階層型分類法を提案する。データ側では、Tactile-Visionデータセット、Tactile-Languageデータセット、Tactile-Vision-Languageデータセット、Tactile-Vision-Otherデータセットを含むリソースを分類する。提案手法は,(1)マルチモーダル認識・認識,(2)クロスモーダル生成,(2)触覚・視覚・テキスト間の双方向翻訳,(3)マルチモーダルインタラクション,フィードバック制御と言語誘導操作の3つの柱に先行して構成する。
論文参考訳（メタデータ） (2026-05-17T09:09:30Z)
Beyond Language: Grounding Referring Expressions with Hand Pointing in Egocentric Vision [13.21187394955871]
EgoPoint-Thoughtは、egocentric deictic visual grounding専用の、最初の大規模なマルチモーダルデータセットである。手動のバウンディングボックスペアや密集したセマンティックキャプションを含む、リッチで多義的なアノテーションを提供する。提案するSV-CoTは,構造的推論プロセスとしてグラウンド化を再構成する新しいベースラインフレームワークである。
論文参考訳（メタデータ） (2026-03-27T17:49:56Z)
A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding [15.171586338601522]
潜在的に慣用的な表現(PIE)は、言語コミュニティの日常的な経験と本質的に結びついている意味を解釈する。 XMPIEは,潜在的慣用的表現の並列多言語・マルチモーダルデータセットである。
論文参考訳（メタデータ） (2026-01-13T15:20:28Z)
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文参考訳（メタデータ） (2025-10-17T02:33:16Z)
GridMind: A Multi-Agent NLP Framework for Unified, Cross-Modal NFL Data Insights [0.0]
本稿では,Retrieval-Augmented Generation (RAG) と大規模言語モデル (LLM) を通じて構造化,半構造化,非構造化データを統一するフレームワークであるGridMindを紹介する。このアプローチはマルチモーダル表現学習の進化する分野と一致する。
論文参考訳（メタデータ） (2025-03-24T18:33:36Z)
Everything Can Be Described in Words: A Simple Unified Multi-Modal Framework with Semantic and Temporal Alignment [0.0]
大規模言語モデルのための構造化テキストとして視覚と聴覚の入力を統一するフレームワークであるUMaTを提案する。最新技術であるLong Video Question Answeringの精度を大幅に向上させる。
論文参考訳（メタデータ） (2025-03-12T05:28:24Z)
Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
マルチモーダル表現学習は人工知能領域において重要な役割を担っている。本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
論文参考訳（メタデータ） (2024-12-30T14:09:15Z)
ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-06-17T08:39:16Z)
Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language Pretraining? [34.609984453754656]
本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
論文参考訳（メタデータ） (2023-08-24T16:17:40Z)
Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
論文参考訳（メタデータ） (2023-06-26T16:32:47Z)
High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文参考訳（メタデータ） (2022-03-02T18:56:20Z)
Cross-Modal Discrete Representation Learning [73.68393416984618]
本稿では,様々なモダリティにまたがるより細かい粒度を捉える表現を学習する自己教師型学習フレームワークを提案する。我々のフレームワークは、異なるモダリティ間で共有されるベクトル量子化によって生成される離散化された埋め込み空間に依存している。
論文参考訳（メタデータ） (2021-06-10T00:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。