Fugu-MT 論文翻訳(概要): A Framework for Measuring Compositional Inductive Bias

論文の概要: A Framework for Measuring Compositional Inductive Bias

arxiv url: http://arxiv.org/abs/2103.04180v1
Date: Sat, 6 Mar 2021 19:25:37 GMT
ステータス: 処理完了
システム内更新日: 2021-03-10 06:01:03.117605
Title: A Framework for Measuring Compositional Inductive Bias
Title（参考訳）: 組成誘導バイアス測定のための枠組み
Authors: Hugh Perkins
Abstract要約: 本稿では,創発的コミュニケーションにおけるモデルの構成誘導バイアスを測定するためのフレームワークを提案する。頻繁に使用されるモデルの組成誘導バイアスの限界を探究する、破損した構成文法を考案する。そこで我々は,トークンの再配置可能な原子群に対する誘導バイアスを示すような階層モデルを提案し,単語の出現を促す可能性がある。
参考スコア（独自算出の注目度）: 0.30458514384586405
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a framework for measuring the compositional inductive bias of models in the context of emergent communications. We devise corrupted compositional grammars that probe for limitations in the compositional inductive bias of frequently used models. We use these corrupted compositional grammars to compare and contrast a wide range of models, and to compare the choice of soft, Gumbel, and discrete representations. We propose a hierarchical model which might show an inductive bias towards relocatable atomic groups of tokens, thus potentially encouraging the emergence of words. We experiment with probing for the compositional inductive bias of sender and receiver networks in isolation, and also placed end-to-end, as an auto-encoder.
Abstract（参考訳）: 本稿では、創発的コミュニケーションの文脈におけるモデルの構成誘導バイアスを測定するためのフレームワークを提案する。頻繁に使用されるモデルの組成誘導バイアスの限界を探究する、破損した構成文法を考案する。これらの破損した構成文法を使用して、幅広いモデルを比較し、対照し、ソフト、ガムベル、および離散表現の選択を比較します。そこで我々は,トークンの再配置可能な原子群に対する誘導バイアスを示すような階層モデルを提案し,単語の出現を促す可能性がある。我々は,送信側と受信側ネットワークの構成的帰納的バイアスを分離して探索し,エンドツーエンドで自動エンコーダとして配置した。

関連論文リスト

SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
論文参考訳（メタデータ） (2024-07-06T16:08:17Z)
Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文参考訳（メタデータ） (2023-02-22T18:48:46Z)
Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文参考訳（メタデータ） (2023-01-31T20:09:33Z)
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings [0.0]
構文解析に基づいてニューラルモジュールネットを構築し,それをエンドツーエンドにトレーニングし,文の埋め込みを近似する。各種文埋め込みモデルの蒸留性の違いは,その性能と大きく相関している。文埋め込みモデルにおける多くの構文誘導合成が線形であることの予備的証拠である。
論文参考訳（メタデータ） (2023-01-21T19:42:02Z)
Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification [26.973476248983477]
暗黙の談話関係は、より小さな言語単位を一貫性のあるテキストに結合する。本稿では,暗黙的対話関係感覚分類のためのニューラルネットワークにおけるベース表現として,事前学習文の埋め込みの有用性について検討する。
論文参考訳（メタデータ） (2022-10-20T04:17:03Z)
Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
論文参考訳（メタデータ） (2022-09-29T19:26:23Z)
Learning Disentangled Representations for Natural Language Definitions [0.0]
テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
論文参考訳（メタデータ） (2022-09-22T14:31:55Z)
Syntactic Inductive Biases for Deep Learning Methods [8.758273291015474]
帰納バイアスの2つの家系を提案し,その1つは選挙区構造,もう1つは依存関係構造について検討した。選挙区帰納バイアスは、ディープラーニングモデルに対して、長期的および短期的な情報を個別に処理するために異なる単位(またはニューロン)を使用するように促す。依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜伏関係を見つけることをモデルに促す。
論文参考訳（メタデータ） (2022-06-08T11:18:39Z)
Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
論文参考訳（メタデータ） (2022-05-26T13:26:03Z)
Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
論文参考訳（メタデータ） (2021-10-15T22:01:16Z)
Compositional Generalization via Semantic Tagging [81.24269148865555]
本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
論文参考訳（メタデータ） (2020-10-22T15:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。