論文の概要: Grounding Gaps in Language Model Generations

• arxiv url: http://arxiv.org/abs/2311.09144v2
• Date: Tue, 2 Apr 2024 19:34:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 16:30:45.383178
• Title: Grounding Gaps in Language Model Generations
• Title（参考訳）: 言語モデル生成における接地ギャップ
• Authors: Omar Shaikh, Kristina Gligorić, Ashna Khetan, Matthias Gerstgrasser, Diyi Yang, Dan Jurafsky,
• Abstract要約: 大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。 人間に比べ、LLMは会話の基盤を減らした言語を生成する。 同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
• 参考スコア（独自算出の注目度）: 67.79817087930678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective conversation requires common ground: a shared understanding between the participants. Common ground, however, does not emerge spontaneously in conversation. Speakers and listeners work together to both identify and construct a shared basis while avoiding misunderstanding. To accomplish grounding, humans rely on a range of dialogue acts, like clarification (What do you mean?) and acknowledgment (I understand.). However, it is unclear whether large language models (LLMs) generate text that reflects human grounding. To this end, we curate a set of grounding acts and propose corresponding metrics that quantify attempted grounding. We study whether LLM generations contain grounding acts, simulating turn-taking from several dialogue datasets and comparing results to humans. We find that -- compared to humans -- LLMs generate language with less conversational grounding, instead generating text that appears to simply presume common ground. To understand the roots of the identified grounding gap, we examine the role of instruction tuning and preference optimization, finding that training on contemporary preference data leads to a reduction in generated grounding acts. Altogether, we highlight the need for more research investigating conversational grounding in human-AI interaction.
• Abstract（参考訳）: 効果的な会話には共通の根拠が必要です。 しかし、会話中に自然に現れることはない。 話し手と聞き手は、誤解を避けながら共通の基盤を識別し、構築するために協力する。 基礎化を達成するために、人間は、明確化(何を意味するのか)や理解(理解)など、さまざまな対話行為に依存します。 しかし,大きな言語モデル (LLM) が人間の接地を反映したテキストを生成するかどうかは不明である。 この目的のために, 接地行動の集合をキュレートし, 接地の試みを定量化するための対応する指標を提案する。 我々は,LLM世代が接地行動を含み,複数の対話データセットからのターンテイクをシミュレートし,その結果を人間と比較した。 人間に比べて、LLMは会話の基盤を減らした言語を生成し、代わりに、単に共通基盤を想定しているように見えるテキストを生成する。 同定された接地ギャップの根源を理解するため,指導指導と選好最適化の役割について検討し,同時代の選好データに基づく訓練が生成する接地行動の低減につながることを明らかにする。 また、人間とAIの相互作用における会話基盤の研究の必要性も強調する。

関連論文リスト

• Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents [0.6990493129893112]
  話者の感情がフォアグラウンドされるとき、共感的な接地が必要である。 本稿では,ユーザ音声および表情を入力とし,聴取エージェントに対するマルチモーダルグラウンド動作を生成するモデルについて述べる。 本研究は,会話エージェントに対する適切な接地行動を生み出す上での,感情意識とマルチモーダリティの役割を強調した。
  論文  参考訳（メタデータ） (2024-07-01T21:46:30Z)
• It Couldn't Help But Overhear: On the Limits of Modelling Meta-Communicative Grounding Acts with Supervised Learning [19.812562421377706]
  オーバーハーナーは、下手な行為を行う特権を剥奪され、意図した意味についてしか推測できない。 人間のメタコミュニケーション行為をデータ駆動学習モデルで適切にモデル化することは不可能であることを示す証拠が存在する。 最も重要なことは、このトピックをコミュニティのテーブルに持ち帰り、モデルが単に"参加"するようにデザインされた結果について、議論を奨励したいということです。
  論文  参考訳（メタデータ） (2024-05-02T09:55:19Z)
• Conversational Grounding: Annotation and Analysis of Grounding Acts and Grounding Units [3.805394793605586]
  本稿では, 接地法, 接地法, 接地単位を用いた2つの対話コーパスのアノテーションと, それらの接地度を測る尺度について述べる。 我々の研究は、日常の対話において機械との会話をよりよく理解し、信頼性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-03-25T10:39:18Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• How Well Do Large Language Models Truly Ground? [39.39062385290276]
  一般的な方法は、知識強化モデルとして知られる入力として与えられる外部コンテキストに基づいて応答を生成することである。 以前の研究は「接地」を単に正しい答えを持つだけと定義しており、応答全体の信頼性を保証していない。 本稿では,(1)提供された文脈から必要な知識を十分に活用し,(2)その知識の限界内に留まっている場合,モデルが真に基礎を成すという,より厳密なグラウンド定義を提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:11:27Z)
• The Vector Grounding Problem [0.0]
  我々は、基準接地はベクトル接地問題の中心にあるものであると論じる。 また、おそらく予期せぬことに、マルチモーダリティと実施は、人工システムにおける参照接地に必要な条件や十分な条件ではないと論じる。
  論文  参考訳（メタデータ） (2023-04-04T02:54:04Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Grounding 'Grounding' in NLP [59.28887479119075]
  コミュニティとして、この用語は、テキストをデータや非テキストのモダリティにリンクするために広く使われます。 認知科学(Cognitive Science)は、コミュニケーションの成功に必要な相互情報を確立するプロセスとして「接地」を正式に定義している。
  論文  参考訳（メタデータ） (2021-06-04T00:40:59Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。