論文の概要: Deal, or no deal (or who knows)? Forecasting Uncertainty in Conversations using Large Language Models

• arxiv url: http://arxiv.org/abs/2402.03284v1
• Date: Mon, 5 Feb 2024 18:39:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 14:21:42.261368
• Title: Deal, or no deal (or who knows)? Forecasting Uncertainty in Conversations using Large Language Models
• Title（参考訳）: ディールか、取引なし(あるいは誰が知っている)? 大規模言語モデルを用いた会話の不確実性予測
• Authors: Anthony Sicilia, Hyunwoo Kim, Khyathi Raghavi Chandu, Malihe Alikhani, Jack Hessel
• Abstract要約: 言語モデルは、会話に固有の不確実性を表現するにはどうすればよいか? 本稿では,長期にわたる「会話予測」タスクの拡張であるFortUne Dialを提案する。 言語モデルが結果の不確実性を表わす2つの方法を研究する。
• 参考スコア（独自算出の注目度）: 45.41542983671774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective interlocutors account for the uncertain goals, beliefs, and emotions of others. But even the best human conversationalist cannot perfectly anticipate the trajectory of a dialogue. How well can language models represent inherent uncertainty in conversations? We propose FortUne Dial, an expansion of the long-standing "conversation forecasting" task: instead of just accuracy, evaluation is conducted with uncertainty-aware metrics, effectively enabling abstention on individual instances. We study two ways in which language models potentially represent outcome uncertainty (internally, using scores and directly, using tokens) and propose fine-tuning strategies to improve calibration of both representations. Experiments on eight difficult negotiation corpora demonstrate that our proposed fine-tuning strategies (a traditional supervision strategy and an off-policy reinforcement learning strategy) can calibrate smaller open-source models to compete with pre-trained models 10x their size.
• Abstract（参考訳）: 効果的な対話者は、他人の不確かな目標、信念、感情を説明できる。 しかし、最高の人間会話主義者でさえ、対話の軌跡を完全に予測することはできない。 会話における内在的不確実性は,言語モデルによってどの程度表現できるのか? 我々は,長年にわたる「会話予測」タスクの拡張であるfortune dialを提案する。 言語モデルが結果の不確実性を表わす可能性のある2つの方法について検討し,両表現の校正を改善するための微調整戦略を提案する。 8つの難解な交渉コーパスの実験は、提案する微調整戦略(従来の監督戦略とオフ・ポリティカル強化学習戦略)が、より小さなオープンソースモデルを校正し、事前訓練されたモデルと10倍のサイズで競合できることを示しています。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• Large Language Model based Situational Dialogues for Second Language Learning [7.450328495455734]
  第二言語学習において、シナリオベースの会話実践は、言語学習者が話し言葉の流布を達成するために重要である。 このギャップを埋めるために,学生が会話の実践を行うための状況対話モデルを提案する。 我々の状況対話モデルは大規模言語モデル(LLM)に基づいて微調整されており、オープンエンド会話の係り受け性とシナリオベースタスクの焦点を合わせることを目的としている。
  論文  参考訳（メタデータ） (2024-03-29T06:43:55Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
  混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。 エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。 標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。 代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
  論文  参考訳（メタデータ） (2023-05-06T23:11:25Z)
• The Interplay of Task Success and Dialogue Quality: An in-depth Evaluation in Task-Oriented Visual Dialogues [6.02280861819024]
  一般的なエンドツーエンドアプローチでは、この選択はモデルが言語的に豊かな対話を生成するための学習を妨げることを示しています。 GuessWhatでは、トレーニングセットで頻繁に発生しない単語を接地、エンコード、デコードすることを学ぶと、モデルが精度を高めることができることを示しています。
  論文  参考訳（メタデータ） (2021-03-20T10:13:30Z)
• I Beg to Differ: A study of constructive disagreement in online conversations [15.581515781839656]
  コンテンツ論争を含む7,425のwikipediaトークページ会話のコーパスを構築した。 モデレーターによる調停に不一致がエスカレートされるかどうかを予測するタスクを定義します。 我々は,様々なニューラルモデルを開発し,会話の構造を考慮すれば予測精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-26T16:36:43Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。