論文の概要: Grounding or Guesswork? Large Language Models are Presumptive Grounders
- arxiv url: http://arxiv.org/abs/2311.09144v1
- Date: Wed, 15 Nov 2023 17:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:52:48.393381
- Title: Grounding or Guesswork? Large Language Models are Presumptive Grounders
- Title(参考訳): 接地か推測か?
大規模言語モデルは予備的なグラウンドである
- Authors: Omar Shaikh, Kristina Gligori\'c, Ashna Khetan, Matthias Gerstgrasser,
Diyi Yang, Dan Jurafsky
- Abstract要約: 本研究では,大言語モデル (LLM) が共通基盤構築において対話性を利用するかどうかを考察する。
この行動のルーツを理解するために,人間のフィードバックによる指導指導と強化学習の役割を検討する。
- 参考スコア(独自算出の注目度): 74.78677623965356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective conversation requires common ground: a shared understanding between
the participants. Common ground, however, does not emerge spontaneously in
conversation. Speakers and listeners work together to both identify and
construct a shared basis while avoiding misunderstanding. To accomplish
grounding, humans rely on a range of dialogue acts, like clarification (What do
you mean?) and acknowledgment (I understand.). In domains like teaching and
emotional support, carefully constructing grounding prevents misunderstanding.
However, it is unclear whether large language models (LLMs) leverage these
dialogue acts in constructing common ground. To this end, we curate a set of
grounding acts and propose corresponding metrics that quantify attempted
grounding. We study whether LLMs use these grounding acts, simulating them
taking turns from several dialogue datasets, and comparing the results to
humans. We find that current LLMs are presumptive grounders, biased towards
assuming common ground without using grounding acts. To understand the roots of
this behavior, we examine the role of instruction tuning and reinforcement
learning with human feedback (RLHF), finding that RLHF leads to less grounding.
Altogether, our work highlights the need for more research investigating
grounding in human-AI interaction.
- Abstract(参考訳): 効果的な会話には共通の基盤が必要である。
しかし、会話の中で自然発生することはない。
話者と聞き手は、誤解を避けながら共通の基盤を識別し、構築するために協力する。
接地を達成するために、人間は明確化(どういう意味か?)や認識(私は理解している)といった様々な対話行為に依存している。
教養や情緒的支援といった領域では、接地を慎重に構築することは誤解を防ぐ。
しかし、大言語モデル(llm)がこれらの対話を共通基盤構築に活用しているかどうかは不明である。
この目的のために, 接地行動の集合をキュレートし, 接地の試みを定量化する対応する指標を提案する。
我々は,LLMがこれらの接地行動を用いて,複数の対話データセットから交互に行うことをシミュレーションし,その結果を人間と比較する。
現状のLLMは, 接地行為を使わずに, 共通グラウンドの仮定に偏りがあることが判明した。
この行動のルーツを理解するため,RLHFによる指導指導と強化学習の役割を人間のフィードバック(RLHF)を用いて検討し,RLHFが基礎を弱めることを発見した。
我々の研究は、人間とAIの相互作用の土台調査の必要性を強調している。
関連論文リスト
- Grounding from an AI and Cognitive Science Lens [4.624355582375099]
本稿では,認知科学と機械学習の両面から基礎を考察する。
接地者の微妙さ、共同作業者にとっての意義、および両コミュニティにおける接地アプローチの類似点と相違点を識別する。
論文 参考訳(メタデータ) (2024-02-19T17:44:34Z) - Grounding for Artificial Intelligence [8.13763396934359]
接地とは、自然言語と抽象的な知識を、知的な存在の中で現実世界の内部表現に結びつけるプロセスである。
本稿では,この問題を体系的に研究しようと試みる。
論文 参考訳(メタデータ) (2023-12-15T04:45:48Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia [68.00056517461402]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - How Well Do Large Language Models Truly Ground? [41.36589507268335]
LLM(Large Language Models)の固有の知識への依存は幻覚などの問題を引き起こす可能性がある。
これを軽減するために、LLMをプローブして外部コンテキストに基づいて応答を生成する。
論文 参考訳(メタデータ) (2023-11-15T16:11:27Z) - MindDial: Belief Dynamics Tracking with Theory-of-Mind Modeling for
Situated Neural Dialogue Generation [92.28940192075433]
そこで我々はMindDialを提案する。MindDialは、位置自由な応答を生成できる新しい対話型フレームワークで、共通基盤を交渉できる。
我々は、3段階の信念(話者の信念、話者のリスナーの信念に対する予測、および共通の信念)を追跡できる明示的なマインドモジュールを設計する。
実験により、精神状態モデリングを用いたモデルが、共通の地盤を整列する際の人間の反応に類似できることが示されている。
論文 参考訳(メタデータ) (2023-06-27T07:24:32Z) - The Vector Grounding Problem [0.0]
我々は、基準接地はベクトル接地問題の中心にあるものであると論じる。
また、おそらく予期せぬことに、マルチモーダリティと実施は、人工システムにおける参照接地に必要な条件や十分な条件ではないと論じる。
論文 参考訳(メタデータ) (2023-04-04T02:54:04Z) - KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。
具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。
我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-12-04T04:05:01Z) - Grounding 'Grounding' in NLP [59.28887479119075]
コミュニティとして、この用語は、テキストをデータや非テキストのモダリティにリンクするために広く使われます。
認知科学(Cognitive Science)は、コミュニケーションの成功に必要な相互情報を確立するプロセスとして「接地」を正式に定義している。
論文 参考訳(メタデータ) (2021-06-04T00:40:59Z) - Unsupervised Online Grounding of Natural Language during Human-Robot
Interactions [0.35534933448684136]
提案手法は,人間教師とロボットとのインタラクション実験により評価される。
その結果,提案するフレームワークは,オンラインおよび教師なしの方法で,対応するパーセプションから単語を抽出できることが示唆された。
論文 参考訳(メタデータ) (2020-07-05T17:48:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。