Fugu-MT 論文翻訳(概要): Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

論文の概要: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

arxiv url: http://arxiv.org/abs/2403.02738v2
Date: Wed, 22 May 2024 16:21:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 06:19:24.027487
Title: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment
Title（参考訳）: Causal Prompting: フロントドア調整に基づく大規模言語モデルのプロンプトの回避
Authors: Congzhi Zhang, Linhai Zhang, Jialong Wu, Deyu Zhou, Yulan He,
Abstract要約: 大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
参考スコア（独自算出の注目度）: 32.12998469814097
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the notable advancements of existing prompting methods, such as In-Context Learning and Chain-of-Thought for Large Language Models (LLMs), they still face challenges related to various biases. Traditional debiasing methods primarily focus on the model training stage, including approaches based on data augmentation and reweighting, yet they struggle with the complex biases inherent in LLMs. To address such limitations, the causal relationship behind the prompting methods is uncovered using a structural causal model, and a novel causal prompting method based on front-door adjustment is proposed to effectively mitigate LLMs biases. In specific, causal intervention is achieved by designing the prompts without accessing the parameters and logits of LLMs. The chain-of-thought generated by LLM is employed as the mediator variable and the causal effect between input prompts and output answers is calculated through front-door adjustment to mitigate model biases. Moreover, to accurately represent the chain-of-thoughts and estimate the causal effects, contrastive learning is used to fine-tune the encoder of chain-of-thought by aligning its space with that of the LLM. Experimental results show that the proposed causal prompting approach achieves excellent performance across seven natural language processing datasets on both open-source and closed-source LLMs.
Abstract（参考訳）: In-Context LearningやChain-of-Thought for Large Language Models (LLMs)のような既存のプロンプト手法の顕著な進歩にもかかわらず、それらは依然として様々なバイアスに関連する課題に直面している。従来のデバイアス法は主に、データ拡張と再重み付けに基づくアプローチを含むモデルのトレーニング段階に重点を置いているが、LLMに固有の複雑なバイアスに苦慮している。このような制約に対処するため、構造因果モデルを用いてプロンプト法の背後にある因果関係を解明し、LLMのバイアスを効果的に軽減するために、フロントドア調整に基づく新しい因果的プロンプト法を提案する。具体的には、LSMのパラメータやロジットにアクセスせずにプロンプトを設計することで因果介入が達成される。 LLMが生成するチェーン・オブ・シントをメディエータ変数とし、入力プロンプトと出力応答の因果効果を、モデルバイアスを軽減するためのフロントドア調整により算出する。さらに、思考の連鎖を正確に表現し、因果効果を推定するために、LLMの空間を整列させて思考の連鎖のエンコーダを微調整するために、コントラスト学習を用いる。実験結果から,提案手法は7つの自然言語処理データセットに対して,オープンソースLLMとクローズドソースLLMの両方で優れた性能を実現することが示された。

関連論文リスト

Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文参考訳（メタデータ） (2024-11-01T20:44:59Z)
Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文参考訳（メタデータ） (2024-10-07T23:38:58Z)
zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文参考訳（メタデータ） (2024-09-23T01:03:15Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
論文参考訳（メタデータ） (2024-06-07T13:31:51Z)
UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation [12.04811490937078]
フィードフォワードニューラルネットワーク(FFN)とアテンションヘッドが大規模言語モデル(LLM)のバイアスをもたらすかを検討する。これらのバイアスを軽減するために,推定のみの手法であるUniBiasを導入し,バイアス付きFFNベクトルとアテンションヘッドを効果的に識別・除去する。
論文参考訳（メタデータ） (2024-05-31T03:59:15Z)
CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
論文参考訳（メタデータ） (2024-04-09T14:40:08Z)
Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文参考訳（メタデータ） (2024-03-13T17:46:28Z)
Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文参考訳（メタデータ） (2024-03-08T12:35:07Z)
The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
論文参考訳（メタデータ） (2023-12-04T00:46:11Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。