論文の概要: Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2607.09777v1
- Date: Wed, 08 Jul 2026 06:52:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.190446
- Title: Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs
- Title（参考訳）: タイムインプリント:マルチモーダル知識グラフにおける時間認識表現の学習
- Abstract要約: エンティティの時間情報は、そのようなエンティティを曖昧にするために追加のモダリティとして機能する。
既存のアプローチでは、テキストや画像と並行して時間を別のモダリティとして扱うことは滅多にない。
Time Imprintはタイムをエンティティレベルのモダリティとして扱い、時間的、テキスト的、視覚的な表現を共同で調整する。
- 参考スコア（独自算出の注目度）: 17.664190002975456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Modal Knowledge Graphs (MMKGs) enrich entities with multiple modalities such as text and images, yet entities with highly similar multi-modal features remain difficult to distinguish. Temporal information of an entity can serve as an additional modality to disambiguate such entities, but existing approaches rarely treat time as a separate modality alongside text and images due to two major challenges: (1) sparse temporal semantics, which hinder alignment with richer modalities, and (2) multiple timestamps, which introduce noise or reduce robustness in representation learning. To address these challenges, we propose Time Imprint, a framework that treats time as an entity-level modality and jointly aligns temporal, textual, and visual representations via a three-view contrastive objective. Additionally, to mitigate multi-timestamp ambiguity, Time Imprint studies a compact timestamp subset selection design space and aggregates the selected timestamps into a discriminative temporal embedding with attention pooling, balancing temporal specificity and robustness. Experiments on three MMKG benchmarks demonstrate that Time Imprint achieves state-of-the-art link prediction performance, improving Hits@1 by up to 6.07\% overall and yielding up to 58\% gains on the subset of the top-1\% ambiguity samples. We further examine different fusion strategies and the sensitivity to timestamp availability and quality, clarifying when and why time-as-modality is most beneficial, while adding only modest training overhead. We release our code at https://anonymous.4open.science/r/Time-Imprint.
- Abstract（参考訳）: マルチモーダル知識グラフ(MMKG)は、テキストや画像のような複数のモーダルを持つエンティティを豊かにするが、非常に類似したマルチモーダル特徴を持つエンティティを区別することは困難である。
実体の時間的情報は、そのような実体を曖昧にするために追加のモダリティとして機能するが、既存のアプローチでは、(1)より豊かなモダリティとの整合を阻害するスパースな時間的意味論、(2)表現学習におけるノイズの導入やロバスト性を低減する複数のタイムスタンプの2つの主要な課題により、テキストや画像と並行して時間的なモダリティとして扱うことは滅多にない。
これらの課題に対処するために、タイムインプリント(Time Imprint)を提案する。タイムインプリント(Time Imprint)は、タイムをエンティティレベルのモダリティとして扱い、時間的、テキスト的、視覚的な表現を3視点のコントラッシブな目的を通じて協調的に調整するフレームワークである。
さらに、マルチタイムスタンプのあいまいさを軽減するため、Time Imprintは、コンパクトなタイムスタンプサブセット選択空間を研究し、選択したタイムスタンプを、注意プーリング、時間特異性とロバスト性のバランスを伴う識別的時間埋め込みに集約する。
3つのMMKGベンチマークの実験では、Time Imprintは最先端のリンク予測性能を達成し、Hits@1を最大6.07\%改善し、トップ1\%のあいまいさサンプルのサブセットで最大58\%のゲインを得ることを示した。
さらに、異なる融合戦略と、タイムスタンプの可用性と品質に対する感受性について検討し、適度なトレーニングオーバーヘッドのみを加えながら、いつ、なぜモダリティが最も有益かを明らかにした。
コードについてはhttps://anonymous.4open.science/r/Time-Imprint.comで公開しています。
関連論文リスト
- E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-05T02:16:00Z) - InstructTime++: Time Series Classification with Multimodal Language Modeling via Implicit Feature Enhancement [52.17579028504616]
InstructTimeは、時系列分類をマルチモーダルな生成タスクとして再構成する新しいフレームワークである。
InstructTime++は、言語モデルの限定的な帰納バイアスを補うために、暗黙のフィーチャモデリングを導入することで、InstructTimeを拡張している。
論文 参考訳（メタデータ） (2026-01-21T13:12:23Z) - DATE: Dynamic Absolute Time Enhancement for Long Video Understanding [8.720269393713451]
長期ビデオ理解はマルチモーダル大言語モデル(MLLM)の根本的な課題であり続けている
MLLMにおける時間的意識を高める動的絶対時間拡張(DATE)を提案する。
本稿では,意味的関連性と時間的関連性の両方を保証するための2段階アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-09-11T08:49:22Z) - Teaching Time Series to See and Speak: Forecasting with Aligned Visual and Textual Perspectives [22.10401153489018]
時系列の予測は伝統的に単調な数値入力に依存している。
生の時系列を構造化された視覚的・テキスト的視点に変換するマルチモーダルコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-30T17:59:14Z) - DisTime: Distribution-based Time Representation for Video Large Language Models [23.176698643825123]
DisTimeは、ビデオLLMにおける時間的理解を強化するために設計された軽量フレームワークである。
DisTimeは、連続的な時間的埋め込みスペースを作成するために学習可能なトークンを使用する。
DisTimeは3つの時間に敏感なタスクでベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-30T08:10:18Z) - TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding [13.996105878417204]
本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。
ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。
広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
論文 参考訳（メタデータ） (2025-01-13T13:47:05Z) - Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。
既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。
ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。
ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-07-16T05:44:30Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。
GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。
このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-05-22T16:41:21Z) - Learning Multi-graph Structure for Temporal Knowledge Graph Reasoning [3.3571415078869955]
本稿では,LMS(Learning Multi-graph Structure)に着目した革新的な推論手法を提案する。
LMSは、タイムスタンプに沿って効果的にエンティティ表現をマージするための適応ゲートを組み込んでいる。
また、タイムスタンプのセマンティクスをグラフアテンション計算や時間認識デコーダに統合する。
論文 参考訳（メタデータ） (2023-12-04T08:23:09Z) - PV2TEA: Patching Visual Modality to Textual-Established Information
Extraction [59.76117533540496]
我々は、その視覚的モダリティをテキスト化された属性情報抽出器にパッチする。
PV2TEAは3つのバイアス低減方式を備えたエンコーダデコーダアーキテクチャである。
実世界のeコマースデータセットに関する実証的な結果は、絶対値11.74%(相対値20.97%)のF1の増加を示す。
論文 参考訳（メタデータ） (2023-06-01T05:39:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。