論文の概要: A Communication Framework for Compositional Generation

• arxiv url: http://arxiv.org/abs/2501.19182v2
• Date: Thu, 13 Feb 2025 21:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 17:40:14.882833
• Title: A Communication Framework for Compositional Generation
• Title（参考訳）: 合成生成のための通信フレームワーク
• Authors: Rafael Elberg, Mircea Petrache, Denis Parra,
• Abstract要約: 合成エンコーディングを作成するための自己教師型生成型コミュニケーションゲームベースのフレームワークを提案する。 我々のフレームワークは、エンコーディングにおける効率性、曖昧性、非ホリスティック性の概念を定義し、バランスをとるという厳密な正当化と証明に基づいている。
• 参考スコア（独自算出の注目度）: 0.7578439720012189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality and compositional generalization--the ability to understand novel combinations of known concepts--are central characteristics of human language and are hypothesized to be essential for human cognition. In machine learning, the emergence of this property has been studied in a communication game setting, where independent agents (a sender and a receiver) converge to a shared encoding policy from a set of states to a space of discrete messages, where the receiver can correctly reconstruct the states observed by the sender using only the sender's messages. The use of communication games in generation tasks is still largely unexplored, with recent methods for compositional generation focusing mainly on the use of supervised guidance (either through class labels or text). In this work, we take the first steps to fill this gap, and we present a self-supervised generative communication game-based framework for creating compositional encodings in learned representations from pre-trained encoder-decoder models. In an Iterated Learning (IL) protocol involving a sender and a receiver, we apply alternating pressures for compression and diversity of encoded discrete messages, so that the protocol converges to an efficient but unambiguous encoding. Approximate message entropy regularization is used to favor compositional encodings. Our framework is based on rigorous justifications and proofs of defining and balancing the concepts of Efficiency, Unambiguity and Non-Holisticity in encoding. We test our method on the compositional image dataset Shapes3D, demonstrating robust performance in both reconstruction and compositionality metrics, surpassing other tested discrete message frameworks.
• Abstract（参考訳）: 構成性と構成的一般化 - 既知の概念の新たな組み合わせを理解する能力 - は、人間の言語の中心的な特徴であり、人間の認知に不可欠なものであると仮定されている。 機械学習において、この特性の出現は、独立したエージェント(送信者と受信者)が一連の状態から離散メッセージの空間への共有符号化ポリシーに収束する通信ゲーム環境で研究され、受信者は送信者のメッセージのみを使用して、送信者の観測した状態を正しく再構築することができる。 生成タスクにおけるコミュニケーションゲームの使用については,教師付きガイダンス(クラスラベルやテキストなど)を中心に,近年の合成生成手法が注目されている。 本研究では,このギャップを埋めるための第一歩として,事前学習したエンコーダ-デコーダモデルから学習表現中の合成エンコーディングを作成するための,自己教師型生成型コミュニケーションゲームベースのフレームワークを提案する。 送信者と受信者を含む反復学習(IL)プロトコルでは、符号化された離散メッセージの圧縮と多様性に交互に圧力を適用し、プロトコルは効率的だが曖昧な符号化に収束する。 近似メッセージエントロピー正規化は、合成エンコーディングを好むために用いられる。 我々のフレームワークは、エンコーディングにおける効率性、曖昧性、非ホリスティック性の概念を定義し、バランスをとるという厳密な正当化と証明に基づいている。 提案手法は合成画像データセットShapes3Dでテストし、再構成と構成性の両方で堅牢な性能を示し、他のテストされた離散メッセージフレームワークを上回った。

関連論文リスト

• Boosting Neural Language Inference via Cascaded Interactive Reasoning [38.125341836302525]
  自然言語推論(NLI)は、与えられた前提と仮説の間の論理的関係の確認に焦点を当てている。 この課題は、多様な言い回し、意味的複雑さ、文脈的ニュアンスといった固有の言語的特徴により、重大な課題を提起する。 NLIにおける深い意味理解のために設計された新しいアーキテクチャであるCascaded Interactive Reasoning Network (CIRN)を紹介する。
  論文  参考訳（メタデータ） (2025-05-10T11:37:15Z)
• Universal Item Tokenization for Transferable Generative Recommendation [89.42584009980676]
  本稿では、転送可能な生成レコメンデーションのためのユニバーサルアイテムトークン化手法であるUTGRecを提案する。 木構造コードブックを考案することにより、コンテンツ表現をアイテムトークン化のための対応するコードに識別する。 生のコンテンツ再構成には、アイテムテキストとイメージを離散表現から再構成するために、デュアルライトウェイトデコーダを用いる。 協調的知識統合においては,共起的アイテムが類似していると仮定し,共起的アライメントと再構築を通じて協調的信号を統合する。
  論文  参考訳（メタデータ） (2025-04-06T08:07:49Z)
• Bridging Textual-Collaborative Gap through Semantic Codes for Sequential Recommendation [91.13055384151897]
  CoCoRecは、シーケンシャルレコメンデーションのための新しいコードベースのテキストおよび協調的セマンティックフュージョン法である。 ベクトル量子化手法を用いて,多視点テキスト埋め込みから細粒度セマンティックコードを生成する。 テキスト・コラボレーティブ・セマンティクスの融合をさらに促進するために,最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-03-15T15:54:44Z)
• Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
  マルチモーダル表現学習は人工知能領域において重要な役割を担っている。 本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。 元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
  論文  参考訳（メタデータ） (2024-12-30T14:09:15Z)
• CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization [14.01847471143144]
  コンテクスト規則化(CoRe)を導入し、コンテクストトークンをプロンプトに正規化することで、新しい概念のテキスト埋め込みの学習を強化する。 CoReは、対応する画像の生成を必要とせずに任意のプロンプトに適用することができる。 包括的実験により,本手法は識別保存法とテキストアライメント法の両方において,いくつかの基本的手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-28T16:27:58Z)
• Finding structure in logographic writing with library learning [55.63800121311418]
  書記システムにおける構造を発見するための計算フレームワークを開発する。 我々の枠組みは中国語の表記体系における既知の言語構造を発見する。 図書館学習のアプローチが、人間の認知における構造の形成の基盤となる基本的な計算原理を明らかにするのにどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-05-11T04:23:53Z)
• Concept-Best-Matching: Evaluating Compositionality in Emergent Communication [44.995111025271086]
  本稿では,出現語と自然言語概念のベストマッチを見出すことにより,創発的コミュニケーションの合成性を評価する手法を提案する。 我々の知る限りでは、創発語と人間の概念の直接的かつ解釈可能なマッピングが提供されるのは初めてである。
  論文  参考訳（メタデータ） (2024-03-17T12:47:02Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph: Principle, Implementation, and Performance Evaluation [74.38561925376996]
  単一ユーザと複数ユーザのコミュニケーションシナリオに対して,認知意味コミュニケーションフレームワークが2つ提案されている。 知識グラフから推論規則をマイニングすることにより,効果的な意味補正アルゴリズムを提案する。 マルチユーザ認知型セマンティックコミュニケーションシステムにおいて,異なるユーザのメッセージを識別するために,メッセージ復元アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T12:01:43Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
  トポロジカル空間の観点から意味コミュニケーションを研究する。 送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。 受信機は構造を復号し、行方不明または歪んだデータを推測する。
  論文  参考訳（メタデータ） (2022-10-30T22:33:44Z)
• Learning Compositional Representations for Effective Low-Shot Generalization [45.952867474500145]
  本稿では、人間の認知に触発された画像符号化手法である、部分合成(RPC)としての認識を提案する。 RPCは、画像をまずそれらを正常な部分に分解し、次に各部分を少数のプロトタイプの混合体としてエンコードすることで、画像をエンコードする。 このタイプの学習は、低ショットの一般化タスクにおいて、深層畳み込みネットワークが直面するハードルを克服することができる。
  論文  参考訳（メタデータ） (2022-04-17T21:31:11Z)
• Cognitive Semantic Communication Systems Driven by Knowledge Graph [33.29303908864777]
  知識グラフを利用した認知意味コミュニケーションフレームワークを提案する。 意味情報検出のためのシンプルで汎用的で解釈可能なソリューションを開発した。 提案システムは,データ圧縮率や通信の信頼性の観点から,他のベンチマークシステムよりも優れている。
  論文  参考訳（メタデータ） (2022-02-24T08:26:18Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Visually Grounded Concept Composition [31.981204314287282]
  我々はこれらを画像に合わせることによって、原始概念と全構成概念の両方の基礎を学ぶ。 そこで本研究では,テキストと画像のマッチング精度を指標として,合成学習がより堅牢なグラウンド化結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:38:58Z)
• Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
  出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。 現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。 本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T14:34:26Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Structural Inductive Biases in Emergent Communication [36.26083882473554]
  グラフ参照ゲームの開発による人工エージェントにおける表現学習の影響について検討する。 グラフニューラルネットワークによりパラメータ化されたエージェントは、単語のバッグやシーケンスモデルと比較して、より構成的な言語を開発する。
  論文  参考訳（メタデータ） (2020-02-04T14:59:08Z)
• Towards Graph Representation Learning in Emergent Communication [37.8523331078468]
  我々は,マルチエージェントシステムにおける言語進化と協調を支援するために,グラフ畳み込みネットワークを利用する。 画像ベースの参照ゲームに動機づけられた,複雑度の異なるグラフ参照ゲームを提案する。 出現した通信プロトコルは堅牢であり、エージェントはゲームの変動の真の要因を明らかにし、トレーニング中に遭遇したサンプルを超えて一般化することを学ぶ。
  論文  参考訳（メタデータ） (2020-01-24T15:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。