論文の概要: Principles of Concept Representation in Sentence Encoders

• arxiv url: http://arxiv.org/abs/2606.06994v1
• Date: Fri, 05 Jun 2026 07:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.615222
• Title: Principles of Concept Representation in Sentence Encoders
• Title（参考訳）: 文エンコーダにおける概念表現の原理
• Authors: Isabelle Mohr, John Dujany, Jonathan Souquet, Andre Freitas,
• Abstract要約: 文エンコーダは、その潜在空間が対応する意味演算子の低歪み実現を認める場合にのみ、概念をサポートする。 このフレーミングは、現在のエンコーダが成功する場所と、それらが監督に構造的に不一致している場所の両方を予測する。 微調整は、拡張するのではなく、潜在幾何学を再検討する。 そこで我々は,DBpediaのセマンティックギャップベンチマークと修正子ラベル付きデータセットNPパラフレーズスイートの2つの新しい評価結果を発表した。
• 参考スコア（独自算出の注目度）: 0.24828140397930876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What makes a sentence encoder produce good concept representations? We approach this through the lens of representational compositionality: an encoder supports a concept family only when its latent space admits a low-distortion realization of the corresponding semantic operator. This framing predicts both where current encoders succeed and where they are structurally mismatched to their supervision. Through a controlled ablation over encoder conditions trained on 3.3 million synonym and definition pairs from WordNet and Wiktionary, evaluated on three decontaminated splits and a modifier-labeled noun-phrase benchmark, we identify four principles. Fine-tuning recalibrates the latent geometry rather than expanding it (P1). Semantic signal concentrates in the final transformer layer before concept-specific training begins, making cross-layer pooling redundant (P2). Hard negatives improve discrimination and stress-test robustness without improving retrieval ranking, showing that calibration and ranking are independently addressable (P3). Finally, the effectiveness of supervision depends on the composition type of the target concept. Extensional training helps intersective and subsective families while degrading relational and intensional ones, exposing a structural limitation of current training paradigms (P4). We release two new evaluation datasets: a DBpedia semantic-gap benchmark and a modifier-labeled NP paraphrase suite.
• Abstract（参考訳）: 文エンコーダはなぜ優れた概念表現を生成するのか? エンコーダは、その潜在空間が対応する意味作用素の低歪み実現を認める場合にのみ、概念ファミリをサポートする。 このフレーミングは、現在のエンコーダが成功する場所と、それらが監督に構造的に不一致している場所の両方を予測する。 また,WordNetとWiktionaryの330万の同義語と定義ペアで訓練されたエンコーダ条件に対する制御的アブレーションにより,3つの非汚染スプリットと修飾子ラベル付き名詞句ベンチマークを用いて,4つの原理を同定した。 微細チューニングは、拡張するのではなく、潜在幾何学を再検討する(P1)。 セマンティック信号は、概念固有の訓練が始まる前に最終変圧器層に集中し、層間プーリングを冗長にする(P2)。 格付けと格付けは独立して対応可能であることを示す(P3)。 最後に、監視の有効性は、対象概念の構成タイプに依存する。 拡張トレーニングは、断続的な家族や分断的な家族を助けると同時に、関係的な家族や緊張的な家族を劣化させ、現在の訓練パラダイムの構造的制限を露呈する(P4)。 我々はDBpediaのセマンティックギャップベンチマークと修飾子ラベルNPパラフレーズスイートの2つの新しい評価データセットをリリースする。

関連論文リスト

• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Collapse-Free Prototype Readout Layer for Transformer Encoders [0.0]
  DDCL-Attentionは、トランスフォーマーエンコーダ用のプロトタイプベースの読み出し層である。 列長の線形複雑度でコンパクトなトークン要約を生成する。 最終読み出し層、VQ-VAEの拡張可能なコードブック、階層型ドキュメント圧縮器である。
  論文  参考訳（メタデータ） (2026-04-04T20:23:21Z)
• Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings [10.299190830046872]
  本稿では,VLMによって誘発されるセマンティック階層を,特定の子クラスに対して説明し,検証し,調整するためのポストホックフレームワークを提案する。 我々は,効率的な木認識とエッジレベルの整合性尺度を用いて,抽出した木と人間の検索を比較して妥当性を定量化し,説明可能な階層木トラバース推定による有用性を評価する。
  論文  参考訳（メタデータ） (2026-03-26T00:38:38Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Ambiguity-aware Point Cloud Segmentation by Adaptive Margin Contrastive Learning [65.94127546086156]
  本稿では,ポイントクラウド上のセマンティックセマンティックセグメンテーションのための適応的マージン比較学習法を提案する。 まず,両立度推定フレームワークにコントラスト学習を組み込んだAMContrast3Dを設計する。 共同トレーニングの洞察に触発されて、並列にトレーニングされた2つのブランチとAMContrast3D++を統合することを提案する。
  論文  参考訳（メタデータ） (2025-07-09T07:00:32Z)
• BEST: BERT Pre-Training for Sign Language Recognition with Coupling Tokenization [135.73436686653315]
  我々は、BERTの事前学習の成功を活用し、手話認識(SLR)モデルを肥大化させるために、ドメイン固有の統計モデルを構築している。 手と体が手話表現の優位性を考えると、それらを三重奏単位として整理し、トランスフォーマーのバックボーンに供給する。 劣化した入力シーケンスからマスク三重項ユニットを再構成して事前学習を行う。 意味的ジェスチャー/身体状態を表すポーズ三重奏ユニットから離散擬似ラベルを適応的に抽出する。
  論文  参考訳（メタデータ） (2023-02-10T06:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。