論文の概要: A Compressive-Expressive Communication Framework for Compositional Representations

• arxiv url: http://arxiv.org/abs/2501.19182v3
• Date: Thu, 05 Jun 2025 13:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-07 10:49:29.270168
• Title: A Compressive-Expressive Communication Framework for Compositional Representations
• Title（参考訳）: 合成表現のための圧縮圧縮通信フレームワーク
• Authors: Rafael Elberg, Felipe del Rio, Mircea Petrache, Denis Parra,
• Abstract要約: 本稿では,事前学習モデルから学習した表現の合成性を誘導する自己教師型フレームワークCELEBIを紹介する。 提案手法は,Shapes3DおよびMPI3Dデータセット上での学習メッセージの効率性と構成性を向上する。 この研究は、単純性に基づく帰納的バイアスから構造化された一般化可能な通信プロトコルが出現する新たな理論的および実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.6937243101289334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional generalization--the ability to interpret novel combinations of familiar elements--is a hallmark of human cognition and language. Despite recent advances, deep neural networks still struggle to acquire this property reliably. In this work, we introduce CELEBI (Compressive-Expressive Language Emergence through a discrete Bottleneck and Iterated learning), a novel self-supervised framework for inducing compositionality in learned representations from pre-trained models, through a reconstruction-based communication game between a sender and a receiver. Building on theories of language emergence, we integrate three mechanisms that jointly promote compressibility, expressivity, and efficiency in the emergent language. First, interactive decoding incentivizes intermediate reasoning by requiring the receiver to produce partial reconstructions after each symbol. Second, a reconstruction-based imitation phase, inspired by iterated learning, trains successive generations of agents to imitate reconstructions rather than messages, enforcing a tighter communication bottleneck. Third, pairwise distance maximization regularizes message diversity by encouraging high distances between messages, with formal links to entropy maximization. Our method significantly improves both the efficiency and compositionality of the learned messages on the Shapes3D and MPI3D datasets, surpassing prior discrete communication frameworks in both reconstruction accuracy and topographic similarity. This work provides new theoretical and empirical evidence for the emergence of structured, generalizable communication protocols from simplicity-based inductive biases.
• Abstract（参考訳）: 構成的一般化 - 慣れ親しんだ要素の新規な組み合わせを解釈する能力-は、人間の認知と言語の目印である。 近年の進歩にもかかわらず、ディープニューラルネットワークはこの特性を確実に取得するのに依然として苦労している。 本研究では, CELEBI (Compressive-Expressive Language Emergence through a discrete Bottleneck and Iterated Learning, CELEBI) を導入する。 言語発生理論に基づいて,創発言語における圧縮性,表現性,効率性を協調的に促進する3つのメカニズムを統合する。 まず、対話的復号化は、各シンボルの後に部分的再構成を受信者に要求することで中間的推論をインセンティブ化する。 第2に、反復学習にインスパイアされた再構築に基づく模倣フェーズは、メッセージよりも再構築を模倣するために、代々のエージェントを訓練し、通信ボトルネックを厳しくする。 第3に、対角距離最大化は、エントロピー最大化への公式リンクでメッセージ間の高い距離を奨励することで、メッセージの多様性を正則化する。 提案手法は,Shapes3DおよびMPI3Dデータセット上での学習メッセージの効率性と構成性を向上し,再構成精度と地形的類似性の両方において,従来の離散通信フレームワークを上回った。 この研究は、単純性に基づく帰納的バイアスから構造化された一般化可能な通信プロトコルが出現する新たな理論的および実証的な証拠を提供する。

関連論文リスト

• Universal Item Tokenization for Transferable Generative Recommendation [89.42584009980676]
  本稿では、転送可能な生成レコメンデーションのためのユニバーサルアイテムトークン化手法であるUTGRecを提案する。 木構造コードブックを考案することにより、コンテンツ表現をアイテムトークン化のための対応するコードに識別する。 生のコンテンツ再構成には、アイテムテキストとイメージを離散表現から再構成するために、デュアルライトウェイトデコーダを用いる。 協調的知識統合においては,共起的アイテムが類似していると仮定し,共起的アライメントと再構築を通じて協調的信号を統合する。
  論文  参考訳（メタデータ） (2025-04-06T08:07:49Z)
• Bridging Textual-Collaborative Gap through Semantic Codes for Sequential Recommendation [91.13055384151897]
  CoCoRecは、シーケンシャルレコメンデーションのための新しいコードベースのテキストおよび協調的セマンティックフュージョン法である。 ベクトル量子化手法を用いて,多視点テキスト埋め込みから細粒度セマンティックコードを生成する。 テキスト・コラボレーティブ・セマンティクスの融合をさらに促進するために,最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-03-15T15:54:44Z)
• CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization [14.01847471143144]
  コンテクスト規則化(CoRe)を導入し、コンテクストトークンをプロンプトに正規化することで、新しい概念のテキスト埋め込みの学習を強化する。 CoReは、対応する画像の生成を必要とせずに任意のプロンプトに適用することができる。 包括的実験により,本手法は識別保存法とテキストアライメント法の両方において,いくつかの基本的手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-28T16:27:58Z)
• Concept-Best-Matching: Evaluating Compositionality in Emergent Communication [44.995111025271086]
  本稿では,出現語と自然言語概念のベストマッチを見出すことにより,創発的コミュニケーションの合成性を評価する手法を提案する。 我々の知る限りでは、創発語と人間の概念の直接的かつ解釈可能なマッピングが提供されるのは初めてである。
  論文  参考訳（メタデータ） (2024-03-17T12:47:02Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph: Principle, Implementation, and Performance Evaluation [74.38561925376996]
  単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。 知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。 マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T12:01:43Z)
• Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
  トポロジカル空間の観点から意味コミュニケーションを研究する。 送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。 受信機は構造を復号し、行方不明または歪んだデータを推測する。
  論文  参考訳（メタデータ） (2022-10-30T22:33:44Z)
• Learning Compositional Representations for Effective Low-Shot Generalization [45.952867474500145]
  本稿では、人間の認知に触発された画像符号化手法である、部分合成(RPC)としての認識を提案する。 RPCは、画像をまずそれらを正常な部分に分解し、次に各部分を少数のプロトタイプの混合体としてエンコードすることで、画像をエンコードする。 このタイプの学習は、低ショットの一般化タスクにおいて、深層畳み込みネットワークが直面するハードルを克服することができる。
  論文  参考訳（メタデータ） (2022-04-17T21:31:11Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph [33.29303908864777]
  知識グラフを利用した認知意味コミュニケーションフレームワークを提案する。 意味情報検出のためのシンプルで汎用的で解釈可能なソリューションを開発した。 提案システムは,データ圧縮率や通信の信頼性の観点から,他のベンチマークシステムよりも優れている。
  論文  参考訳（メタデータ） (2022-02-24T08:26:18Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Visually Grounded Concept Composition [31.981204314287282]
  我々はこれらを画像に合わせることによって、原始概念と全構成概念の両方の基礎を学ぶ。 そこで本研究では,テキストと画像のマッチング精度を指標として,合成学習がより堅牢なグラウンド化結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:38:58Z)
• Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
  出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。 現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。 本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T14:34:26Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。