論文の概要: To be Continuous, or to be Discrete, Those are Bits of Questions

• arxiv url: http://arxiv.org/abs/2406.07812v1
• Date: Wed, 12 Jun 2024 02:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 20:36:36.979450
• Title: To be Continuous, or to be Discrete, Those are Bits of Questions
• Title（参考訳）: 連続的であるか、離散的であるかは、質問のビットである
• Authors: Yiran Wang, Masao Utiyama,
• Abstract要約: 連続表現と離散表現の中間に位置する新しい表現としてバイナリ表現を導入する。 出力側の構造情報をラベル情報とともに保存する。 本モデルは,様々な構造化予測タスクにおける競合性能を実現する。
• 参考スコア（独自算出の注目度）: 19.872554909401316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, binary representation has been proposed as a novel representation that lies between continuous and discrete representations. It exhibits considerable information-preserving capability when being used to replace continuous input vectors. In this paper, we investigate the feasibility of further introducing it to the output side, aiming to allow models to output binary labels instead. To preserve the structural information on the output side along with label information, we extend the previous contrastive hashing method as structured contrastive hashing. More specifically, we upgrade CKY from label-level to bit-level, define a new similarity function with span marginal probabilities, and introduce a novel contrastive loss function with a carefully designed instance selection strategy. Our model achieves competitive performance on various structured prediction tasks, and demonstrates that binary representation can be considered a novel representation that further bridges the gap between the continuous nature of deep learning and the discrete intrinsic property of natural languages.
• Abstract（参考訳）: 最近では、連続表現と離散表現の中間に位置する新しい表現としてバイナリ表現が提案されている。 連続的な入力ベクトルを置き換えるために使用される場合、かなりの情報保存能力を示す。 本稿では、モデルがバイナリラベルを出力できるようにするために、出力側にさらに導入する可能性について検討する。 ラベル情報とともに出力側の構造情報を保存するために,従来のコントラストハッシュ法を構造化コントラストハッシュとして拡張する。 具体的には、CKYをラベルレベルからビットレベルにアップグレードし、限界確率を持つ新しい類似度関数を定義し、慎重に設計されたインスタンス選択戦略を持つ新しい対照的な損失関数を導入する。 提案モデルでは, 様々な予測課題における競合性能を達成し, 二項表現が深層学習の連続的性質と自然言語の離散的固有性とのギャップを埋める新しい表現であることを示す。

関連論文リスト

• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• DyTed: Disentangled Representation Learning for Discrete-time Dynamic Graph [59.583555454424]
  離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。 本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
  論文  参考訳（メタデータ） (2022-10-19T14:34:12Z)
• The Transitive Information Theory and its Application to Deep Generative Models [0.0]
  変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
  論文  参考訳（メタデータ） (2022-03-09T22:35:02Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Path Integrals for the Attribution of Model Uncertainties [0.18899300124593643]
  本稿では,特徴ベクトルと反事実ベクトルを連結する分布内曲線に依存する新しいアルゴリズムを提案する。 我々は,様々な解像度で画像データセットをベンチマークし,解釈可能性を大幅に単純化することを示す。
  論文  参考訳（メタデータ） (2021-07-19T11:07:34Z)
• A Framework to Learn with Interpretation [2.3741312212138896]
  本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。 我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。 学習した機能を視覚化する詳細なパイプラインも開発されている。
  論文  参考訳（メタデータ） (2020-10-19T09:26:28Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)
• Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information [39.87273353895564]
  本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。 我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。 文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。