Fugu-MT 論文翻訳(概要): Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch

論文の概要: Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch

arxiv url: http://arxiv.org/abs/2409.13972v1
Date: Sat, 21 Sep 2024 01:35:58 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:17:38.693175
Title: Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch
Title（参考訳）: 単語意味論をチャットボットとして理解できる言語モデル : 言語モデルの内部ミスマッチに関する実証的研究
Authors: Jinman Zhao, Xueyan Zhang, Xingyu Yue, Weizhe Chen, Zifan Qian, Ruiyu Wang,
Abstract要約: 研究は、プロンプトと内部表現の相違を示す。我々は,意味論のみ,デコーダのみ,デコーダのみ,およびデコーダのみを対象とする内部的および外部的ミスマッチにおける単語理解について検討する。
参考スコア（独自算出の注目度）: 4.638614083502536
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Current common interactions with language models is through full inference. This approach may not necessarily align with the model's internal knowledge. Studies show discrepancies between prompts and internal representations. Most focus on sentence understanding. We study the discrepancy of word semantics understanding in internal and external mismatch across Encoder-only, Decoder-only, and Encoder-Decoder pre-trained language models.
Abstract（参考訳）: 現在の言語モデルとの共通の相互作用は、完全な推論を通じてである。このアプローチは必ずしもモデルの内部知識と一致しないかもしれない。研究は、プロンプトと内部表現の相違を示す。主に文理解に重点を置いている。本研究では,Encoder-only,Decoder-only,Encoder-Decoder事前学習言語モデルの内外ミスマッチにおける単語意味理解の相違について検討する。

関連論文リスト

MindDial: Belief Dynamics Tracking with Theory-of-Mind Modeling for Situated Neural Dialogue Generation [62.44907105496227]
MindDialは、Mind-of-mindモデリングで位置決め自由形式の応答を生成できる、新しい対話型フレームワークである。本研究では、話者の信念と話者の聴取者の信念を予測できる明示的なマインドモジュールを導入する。筆者らのフレームワークは,提案手法と微調整モデルの両方に適用され,共通地盤アライメントとネゴシエーションの両方を含むシナリオで評価される。
論文参考訳（メタデータ） (2023-06-27T07:24:32Z)
Towards Understanding What Code Language Models Learned [10.989953856458996]
事前訓練された言語モデルは、様々な自然言語処理に有効である。彼らの能力は、完全に学習する意味や言語を理解する能力に欠けている、と論じられている。本研究は,表面周波数と共起を超越した,コードのセマンティクスをキャプチャする能力について考察する。
論文参考訳（メタデータ） (2023-06-20T23:42:14Z)
Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文参考訳（メタデータ） (2022-12-07T18:17:56Z)
Language Models Understand Us, Poorly [0.0]
人間の言語理解に関する3つの見解を考察する。行動の信頼性は理解に必要だが、内部表現は十分である、と私は論じる。モデル内部を調査し、人間の言語をさらに追加し、モデルが学べるものを計測する作業が必要です。
論文参考訳（メタデータ） (2022-10-19T15:58:59Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Entailment Semantics Can Be Extracted from an Ideal Language Model [32.5500309433108]
文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
論文参考訳（メタデータ） (2022-09-26T04:16:02Z)
Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚するインタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文参考訳（メタデータ） (2022-06-13T17:34:22Z)
Are discrete units necessary for Spoken Language Modeling? [10.374092717909603]
音声言語モデリングにおける最近の研究は、テキストラベルなしで生音声から教師なしの言語を学ぶ可能性を示している。音声言語モデリングの優れた結果を得るためには,離散化が不可欠であることを示す。また、HuBERTのような個別のターゲットで訓練されたエンドツーエンドモデルは、擬似テキストで訓練された最良の言語モデルと同様の結果が得られることを示す。
論文参考訳（メタデータ） (2022-03-11T14:14:35Z)
Language Model-Based Paired Variational Autoencoders for Robotic Language Learning [18.851256771007748]
人間の幼児と同様、人工エージェントは環境と対話しながら言語を学ぶことができる。本稿では,ロボットの動作と言語記述を双方向に結合するニューラルモデルを提案する。次に, PVAE-BERTを導入し, 事前訓練された大規模言語モデルとモデルを同調する。
論文参考訳（メタデータ） (2022-01-17T10:05:26Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。