論文の概要: Entity Embeddings : Perspectives Towards an Omni-Modality Era for Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.18390v1
- Date: Fri, 27 Oct 2023 17:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 18:43:49.129825
- Title: Entity Embeddings : Perspectives Towards an Omni-Modality Era for Large
Language Models
- Title(参考訳): エンティティ埋め込み : 大規模言語モデルのための全モダリティ時代の展望
- Authors: Eren Unlu, Unver Ciftci
- Abstract要約: 大規模言語モデル(LLM)は、テキスト、画像、音声などの複数のモダリティを統一された言語空間に統合するために進化している。
我々は、テキストのシーケンスで定義された概念的実体がモダリティとして想像できる未来の方向性を思い描いている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are evolving to integrate multiple modalities,
such as text, image, and audio into a unified linguistic space. We envision a
future direction based on this framework where conceptual entities defined in
sequences of text can also be imagined as modalities. Such a formulation has
the potential to overcome the cognitive and computational limitations of
current models. Several illustrative examples of such potential implicit
modalities are given. Along with vast promises of the hypothesized structure,
expected challenges are discussed as well.
- Abstract(参考訳): 大規模言語モデル(LLM)は、テキスト、画像、音声などの複数のモダリティを統一言語空間に統合するために進化している。
テキストのシーケンスで定義された概念的実体をモダリティとみなすことができる,この枠組みに基づく今後の方向性を想定する。
このような定式化は、現在のモデルの認知的および計算的限界を克服する可能性がある。
そのような潜在的な暗黙的様相のいくつかの例が与えられる。
仮説構造に関する膨大な約束とともに、期待される課題も議論されている。
関連論文リスト
- On the Tip of the Tongue: Analyzing Conceptual Representation in Large
Language Models with Reverse-Dictionary Probe [36.65834065044746]
我々は、言語記述に暗示される対象概念の用語を生成するために、文脈内学習を用いてモデルを誘導する。
実験結果から,逆ディファレンシャルタスクによって探索された概念推論能力は,モデルの一般的な推論性能を予測することが示唆された。
論文 参考訳(メタデータ) (2024-02-22T09:45:26Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Explaining the Complex Task Reasoning of Large Language Models with
Template-Content Structure [72.46757000048379]
本稿では,複雑な自然言語タスクに対する応答生成を階層的テンプレート・コンテンツ構造として正式に概念化する新しいフレームワークを提案する。
我々のフレームワークは、自己回帰生成タスクのモデリングの観点から、大規模言語モデルの複雑な推論能力を示す説明ツールを提供する。
論文 参考訳(メタデータ) (2023-10-09T06:57:45Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳(メタデータ) (2023-07-25T17:59:18Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Learning Semantic Textual Similarity via Topic-informed Discrete Latent
Variables [17.57873577962635]
我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。
我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。
我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
論文 参考訳(メタデータ) (2022-11-07T15:09:58Z) - A Short Survey of Pre-trained Language Models for Conversational AI-A
NewAge in NLP [17.10418053437171]
最近導入された事前学習言語モデルは、データ不足の問題に対処する可能性がある。
これらのモデルは、階層的関係、長期依存、感情など、異なる言語の側面を捉えることを実証している。
本論文では,これらの事前学習モデルが対話システムに関連する課題を克服できるかどうかを明らかにする。
論文 参考訳(メタデータ) (2021-04-22T01:00:56Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳(メタデータ) (2020-11-22T17:28:50Z) - What are the Goals of Distributional Semantics? [12.640283469603355]
私は、現在のモデルが様々なセマンティックな課題にいかにうまく対処できるかを、幅広い言語学的視点で見ていく。
言語的な洞察はモデルアーキテクチャの設計を導くことができるが、将来の進歩には言語表現性と計算的トラクタビリティの相反する要求のバランスが必要である、と私は結論付けている。
論文 参考訳(メタデータ) (2020-05-06T17:36:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。