論文の概要: A Communication Framework for Compositional Generation

• arxiv url: http://arxiv.org/abs/2501.19182v2
• Date: Thu, 13 Feb 2025 21:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:15.251797
• Title: A Communication Framework for Compositional Generation
• Title（参考訳）: 合成生成のための通信フレームワーク
• Authors: Rafael Elberg, Mircea Petrache, Denis Parra,
• Abstract要約: 合成エンコーディングを作成するための自己教師型生成型コミュニケーションゲームベースのフレームワークを提案する。 我々のフレームワークは、エンコーディングにおける効率性、曖昧性、非ホリスティック性の概念を定義し、バランスをとるという厳密な正当化と証明に基づいている。
• 参考スコア（独自算出の注目度）: 0.7578439720012189
• License:
• Abstract: Compositionality and compositional generalization--the ability to understand novel combinations of known concepts--are central characteristics of human language and are hypothesized to be essential for human cognition. In machine learning, the emergence of this property has been studied in a communication game setting, where independent agents (a sender and a receiver) converge to a shared encoding policy from a set of states to a space of discrete messages, where the receiver can correctly reconstruct the states observed by the sender using only the sender's messages. The use of communication games in generation tasks is still largely unexplored, with recent methods for compositional generation focusing mainly on the use of supervised guidance (either through class labels or text). In this work, we take the first steps to fill this gap, and we present a self-supervised generative communication game-based framework for creating compositional encodings in learned representations from pre-trained encoder-decoder models. In an Iterated Learning (IL) protocol involving a sender and a receiver, we apply alternating pressures for compression and diversity of encoded discrete messages, so that the protocol converges to an efficient but unambiguous encoding. Approximate message entropy regularization is used to favor compositional encodings. Our framework is based on rigorous justifications and proofs of defining and balancing the concepts of Efficiency, Unambiguity and Non-Holisticity in encoding. We test our method on the compositional image dataset Shapes3D, demonstrating robust performance in both reconstruction and compositionality metrics, surpassing other tested discrete message frameworks.
• Abstract（参考訳）: 構成性と構成的一般化 - 既知の概念の新たな組み合わせを理解する能力 - は、人間の言語の中心的な特徴であり、人間の認知に不可欠なものであると仮定されている。 機械学習において、この特性の出現は、独立したエージェント(送信者と受信者)が一連の状態から離散メッセージの空間への共有符号化ポリシーに収束する通信ゲーム環境で研究され、受信者は送信者のメッセージのみを使用して、送信者の観測した状態を正しく再構築することができる。 生成タスクにおけるコミュニケーションゲームの使用については,教師付きガイダンス(クラスラベルやテキストなど)を中心に,近年の合成生成手法が注目されている。 本研究では,このギャップを埋めるための第一歩として,事前学習したエンコーダ-デコーダモデルから学習表現中の合成エンコーディングを作成するための,自己教師型生成型コミュニケーションゲームベースのフレームワークを提案する。 送信者と受信者を含む反復学習(IL)プロトコルでは、符号化された離散メッセージの圧縮と多様性に交互に圧力を適用し、プロトコルは効率的だが曖昧な符号化に収束する。 近似メッセージエントロピー正規化は、合成エンコーディングを好むために用いられる。 我々のフレームワークは、エンコーディングにおける効率性、曖昧性、非ホリスティック性の概念を定義し、バランスをとるという厳密な正当化と証明に基づいている。 提案手法は合成画像データセットShapes3Dでテストし、再構成と構成性の両方で堅牢な性能を示し、他のテストされた離散メッセージフレームワークを上回った。

関連論文リスト

• CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization [14.01847471143144]
  コンテクスト規則化(CoRe)を導入し、コンテクストトークンをプロンプトに正規化することで、新しい概念のテキスト埋め込みの学習を強化する。 CoReは、対応する画像の生成を必要とせずに任意のプロンプトに適用することができる。 包括的実験により,本手法は識別保存法とテキストアライメント法の両方において,いくつかの基本的手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-28T16:27:58Z)
• Concept-Best-Matching: Evaluating Compositionality in Emergent Communication [44.995111025271086]
  本稿では,出現語と自然言語概念のベストマッチを見出すことにより,創発的コミュニケーションの合成性を評価する手法を提案する。 我々の知る限りでは、創発語と人間の概念の直接的かつ解釈可能なマッピングが提供されるのは初めてである。
  論文  参考訳（メタデータ） (2024-03-17T12:47:02Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph: Principle, Implementation, and Performance Evaluation [74.38561925376996]
  単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。 知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。 マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T12:01:43Z)
• Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
  トポロジカル空間の観点から意味コミュニケーションを研究する。 送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。 受信機は構造を復号し、行方不明または歪んだデータを推測する。
  論文  参考訳（メタデータ） (2022-10-30T22:33:44Z)
• Learning Compositional Representations for Effective Low-Shot Generalization [45.952867474500145]
  本稿では、人間の認知に触発された画像符号化手法である、部分合成(RPC)としての認識を提案する。 RPCは、画像をまずそれらを正常な部分に分解し、次に各部分を少数のプロトタイプの混合体としてエンコードすることで、画像をエンコードする。 このタイプの学習は、低ショットの一般化タスクにおいて、深層畳み込みネットワークが直面するハードルを克服することができる。
  論文  参考訳（メタデータ） (2022-04-17T21:31:11Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph [33.29303908864777]
  知識グラフを利用した認知意味コミュニケーションフレームワークを提案する。 意味情報検出のためのシンプルで汎用的で解釈可能なソリューションを開発した。 提案システムは,データ圧縮率や通信の信頼性の観点から,他のベンチマークシステムよりも優れている。
  論文  参考訳（メタデータ） (2022-02-24T08:26:18Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Visually Grounded Concept Composition [31.981204314287282]
  我々はこれらを画像に合わせることによって、原始概念と全構成概念の両方の基礎を学ぶ。 そこで本研究では,テキストと画像のマッチング精度を指標として,合成学習がより堅牢なグラウンド化結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:38:58Z)
• Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
  出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。 現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。 本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T14:34:26Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。