論文の概要: Meaning Representations from Trajectories in Autoregressive Models

• arxiv url: http://arxiv.org/abs/2310.18348v3
• Date: Wed, 29 Nov 2023 05:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:44:27.262055
• Title: Meaning Representations from Trajectories in Autoregressive Models
• Title（参考訳）: 自己回帰モデルにおける軌跡からの意味表現
• Authors: Tian Yu Liu, Matthew Trager, Alessandro Achille, Pramuditha Perera, Luca Zancato, Stefano Soatto
• Abstract要約: 入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 106.63181745054571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to extract meaning representations from autoregressive language models by considering the distribution of all possible trajectories extending an input text. This strategy is prompt-free, does not require fine-tuning, and is applicable to any pre-trained autoregressive model. Moreover, unlike vector-based representations, distribution-based representations can also model asymmetric relations (e.g., direction of logical entailment, hypernym/hyponym relations) by using algebraic operations between likelihood functions. These ideas are grounded in distributional perspectives on semantics and are connected to standard constructions in automata theory, but to our knowledge they have not been applied to modern language models. We empirically show that the representations obtained from large models align well with human annotations, outperform other zero-shot and prompt-free methods on semantic similarity tasks, and can be used to solve more complex entailment and containment tasks that standard embeddings cannot handle. Finally, we extend our method to represent data from different modalities (e.g., image and text) using multimodal autoregressive models. Our code is available at: https://github.com/tianyu139/meaning-as-trajectories
• Abstract（参考訳）: 入力テキストを拡張可能な全ての形容詞の分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 さらに、ベクトルベースの表現とは異なり、分布ベースの表現は、可能性関数間の代数的操作を用いて非対称関係(例えば、論理的包含方向、ハイパーネム/ハイポニム関係)をモデル化することもできる。 これらの概念はセマンティクスの分布的観点に基礎を置き、オートマトン理論の標準構成と結びついているが、我々の知識では現代の言語モデルには適用されていない。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。 最後に,マルチモーダル自己回帰モデルを用いて,異なるモーダル(画像やテキストなど)のデータを表現する手法を拡張した。 私たちのコードは、https://github.com/tianyu139/meaning-as-trajectoriesで利用可能です。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Towards a Fully Interpretable and More Scalable RSA Model for Metaphor Understanding [0.8437187555622164]
  Rational Speech Act (RSA) モデルは、計算用語で実用的推論をモデル化するための柔軟なフレームワークを提供する。 本稿では、明示的な公式を提供することで制限に対処するメタファー理解のための新しいRSAフレームワークを提案する。 このモデルは、従来の$textitJohn-is-a-shark$型に限らず、24のメタファでテストされた。
  論文  参考訳（メタデータ） (2024-04-03T18:09:33Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions [0.0]
  従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。 本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T22:22:32Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics [12.640283469603355]
  Pixie Autoencoderはグラフ畳み込みニューラルネットワークを用いて関数分散セマンティックスの生成モデルを拡張して、償却変分推論を実行する。
  論文  参考訳（メタデータ） (2020-05-06T17:46:40Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。