Fugu-MT 論文翻訳(概要): Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue

論文の概要: Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue

arxiv url: http://arxiv.org/abs/2406.02002v1
Date: Tue, 4 Jun 2024 06:33:13 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 17:50:34.136976
Title: Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
Title（参考訳）: 長期対話における因果知覚のための微調整位置ずれ
Authors: Shixuan Fan, Wei Wei, Wendi Li, Xian-Ling Mao, Wenfeng Xie, Dangyang Chen,
Abstract要約: 対話システムの中核は、広範囲な対話履歴に基づいて、関連性、情報的、人間的な応答を生成することである。そのようなモデルには、本来ある位置バイアスという自然な欠点がある。本稿では,摂動に基づく因果変数探索手法を用いた因果知覚長期対話フレームワーク(CPD)を提案する。
参考スコア（独自算出の注目度）: 26.171522810457486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The core of the dialogue system is to generate relevant, informative, and human-like responses based on extensive dialogue history. Recently, dialogue generation domain has seen mainstream adoption of large language models (LLMs), due to its powerful capability in generating utterances. However, there is a natural deficiency for such models, that is, inherent position bias, which may lead them to pay more attention to the nearby utterances instead of causally relevant ones, resulting in generating irrelevant and generic responses in long-term dialogue. To alleviate such problem, in this paper, we propose a novel method, named Causal Perception long-term Dialogue framework (CPD), which employs perturbation-based causal variable discovery method to extract casually relevant utterances from the dialogue history and enhances model causal perception during fine-tuning. Specifically, a local-position awareness method is proposed in CPD for inter-sentence position correlation elimination, which helps models extract causally relevant utterances based on perturbations. Then, a casual-perception fine-tuning strategy is also proposed, to enhance the capability of discovering the causal invariant factors, by differently perturbing causally relevant and non-casually relevant ones for response generation. Experimental results on two datasets prove that our proposed method can effectively alleviate the position bias for multiple LLMs and achieve significant progress compared with existing baselines.
Abstract（参考訳）: 対話システムの中核は、広範囲な対話履歴に基づいて、関連性、情報的、人間的な応答を生成することである。近年,対話生成領域では,発話生成能力の強い大規模言語モデル(LLM)が主流となっている。しかし、そのようなモデルには自然な欠陥があり、すなわち位置バイアスは、因果関係のあるものではなく、近隣の発話により多くの注意を払って、長期的な対話において無関係で一般的な応答を生じさせる可能性がある。そこで本研究では、摂動に基づく因果変数探索法を用いて、対話履歴からカジュアルに関連のある発声を抽出し、微調整時のモデル因果認識を強化する、Causal Perception Long-term Dialogue framework (CPD) という新しい手法を提案する。具体的には,CPDにおける係り受け位置相関除去のための局所位置認識手法を提案し,摂動に基づく因果関係発話の抽出を支援する。そこで, カジュアル・パーセプションの微調整戦略を提案し, 応答生成に因果的・非因果的・因果的を異なる摂動によって因果的不変因子を発見する能力を高める。 2つのデータセットに対する実験結果から,提案手法は複数のLCMの位置バイアスを効果的に軽減し,既存のベースラインと比較して大きな進歩を達成できることが示された。

関連論文リスト

Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations [22.000288488609733]
causeMotionは、Retrieval-Augmented Generation (RAG)とMultimodal fusionを基盤とした、長期にわたる感情因果推論フレームワークである。 RAGとスライディングウィンドウ機構を統合することで、コンテキストに関連のある対話セグメントを効果的に検索し、活用する。 CauseMotionと統合されたGLM-4は、オリジナルのモデルよりも因果精度が8.7%向上し、GPT-4oを1.2%上回る。公開されているDiaASQデータセット上で、Co causedMotion-GLM-4は、精度、F1スコア、因果推論精度の最先端結果を達成する。
論文参考訳（メタデータ） (2025-01-01T09:10:32Z)
Continual Dialogue State Tracking via Reason-of-Select Distillation [20.844176879145927]
そこで我々は,新しい「メタ・レゾニング」能力を持つ小型モデルを改良し,Riason-of-Select(RoS)蒸留法を導入する。ドメインブートストラッププロセスは、複数の可能な値から複雑な対話を識別するモデルの能力を高める。 2つの新しい改善、"多重値分解"戦略とセマンティックコントラスト推論選択法は、RoSを大幅に向上させた。
論文参考訳（メタデータ） (2024-08-19T09:48:50Z)
PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文参考訳（メタデータ） (2023-09-19T08:27:09Z)
EM Pre-training for Multi-party Dialogue Response Generation [86.25289241604199]
多人数対話では、応答発話の宛先を生成前に指定する必要がある。本稿では,アドレナラベルを生成するための期待ステップを反復的に実行する期待最大化(EM)アプローチを提案する。
論文参考訳（メタデータ） (2023-05-21T09:22:41Z)
CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文参考訳（メタデータ） (2022-12-20T18:31:50Z)
DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations [46.942369532632604]
不整合データ生成のためのAMRに基づく意味操作に依存する対話評価指標を提案する。実験の結果,DEAMは基準法と比較して,人間の判断と高い相関性が得られることがわかった。
論文参考訳（メタデータ） (2022-03-18T03:11:35Z)
Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training [10.17868476063421]
Inverse Adversarial Training (IAT) アルゴリズムを提案する。 IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
論文参考訳（メタデータ） (2021-05-31T17:28:37Z)
I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文参考訳（メタデータ） (2020-12-24T18:47:49Z)
Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。本稿では,ランキング拡張対話生成フレームワークを提案する。
論文参考訳（メタデータ） (2020-08-13T01:49:56Z)
Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。