Fugu-MT 論文翻訳(概要): Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

論文の概要: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

arxiv url: http://arxiv.org/abs/2403.02738v1
Date: Tue, 5 Mar 2024 07:47:34 GMT
ステータス: 処理完了
システム内更新日: 2024-03-06 15:36:54.488053
Title: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment
Title（参考訳）: Causal Prompting: フロントドア調整に基づく大規模言語モデルのプロンプトの回避
Authors: Congzhi Zhang, Linhai Zhang, Deyu Zhou, Guoqiang Xu
Abstract要約: 大規模言語モデルのバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。実験結果から,提案手法は3つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
参考スコア（独自算出の注目度）: 24.932188867289533
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the significant achievements of existing prompting methods such as in-context learning and chain-of-thought for large language models (LLMs), they still face challenges of various biases. Traditional debiasing methods primarily focus on the model training stage, including data augmentation-based and reweight-based approaches, with the limitations of addressing the complex biases of LLMs. To address such limitations, the causal relationship behind the prompting methods is uncovered using a structural causal model, and a novel causal prompting method based on front-door adjustment is proposed to effectively mitigate the bias of LLMs. In specific, causal intervention is implemented by designing the prompts without accessing the parameters and logits of LLMs.The chain-of-thoughts generated by LLMs are employed as the mediator variable and the causal effect between the input prompt and the output answers is calculated through front-door adjustment to mitigate model biases. Moreover, to obtain the representation of the samples precisely and estimate the causal effect more accurately, contrastive learning is used to fine-tune the encoder of the samples by aligning the space of the encoder with the LLM. Experimental results show that the proposed causal prompting approach achieves excellent performance on 3 natural language processing datasets on both open-source and closed-source LLMs.
Abstract（参考訳）: 文脈内学習や大型言語モデル(LLM)のチェーン・オブ・シントといった既存のプロンプト手法の顕著な成果にもかかわらず、それらは依然として様々なバイアスの課題に直面している。従来のデバイアス法は主に、データ拡張ベースのアプローチとリウェイトベースのアプローチを含むモデルトレーニングの段階に焦点を当てており、LCMの複雑なバイアスに対処する制限がある。このような制約に対処するために, 構造因果モデルを用いて, 提案手法の背後にある因果関係を明らかにするとともに, 正面調整に基づく新しい因果促進法を提案し, llmのバイアスを効果的に軽減する。具体的には, LLMのパラメータやロジットにアクセスせずにプロンプトを設計して因果介入を行い, LLMが生成するチェーン・オブ・シンクレットをメディエータ変数とし, 入力プロンプトと出力の応答の因果効果をモデルバイアスを軽減するための正面調整により算出する。さらに、サンプルの表現を正確に取得し、因果効果をより正確に推定するために、エンコーダの空間をLSMに整列させることにより、サンプルのエンコーダを微調整するコントラスト学習を用いる。実験結果から,提案手法はオープンソースLLMとクローズドソースLLMの3つの自然言語処理データセットにおいて優れた性能を発揮することが示された。

関連論文リスト

SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
論文参考訳（メタデータ） (2025-02-17T18:52:29Z)
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Investigating the Robustness of Deductive Reasoning with Large Language Models [7.494617747914778]
大規模言語モデル(LLM)は多くの推論に基づく自然言語処理(NLP)タスクにおいて印象的な結果が得られることが示されている。 LLMが、非公式および自己形式化の両方の手法で、どの程度論理的推論タスクに頑健であるかは、まだ不明である。
論文参考訳（メタデータ） (2025-02-04T17:16:51Z)
Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
論文参考訳（メタデータ） (2025-02-03T17:13:03Z)
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering [42.277864969014296]
生成事前学習型トランスフォーマーに基づく大規模言語モデル(LLM)は,知識グラフ質問応答タスクにおいて顕著な性能を達成している。サブグラフ検索と解答推論を明示的にモデル化するLLMに基づく識別推論(LDR)手法を提案する。
論文参考訳（メタデータ） (2024-12-17T08:07:16Z)
Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文参考訳（メタデータ） (2024-11-01T20:44:59Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
論文参考訳（メタデータ） (2024-06-07T13:31:51Z)
UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation [12.04811490937078]
フィードフォワードニューラルネットワーク(FFN)とアテンションヘッドが大規模言語モデル(LLM)のバイアスをもたらすかを検討する。これらのバイアスを軽減するために,推定のみの手法であるUniBiasを導入し,バイアス付きFFNベクトルとアテンションヘッドを効果的に識別・除去する。
論文参考訳（メタデータ） (2024-05-31T03:59:15Z)
Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文参考訳（メタデータ） (2024-03-13T17:46:28Z)
Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。