論文の概要: JAM: Controllable and Responsible Text Generation via Causal Reasoning and Latent Vector Manipulation

• arxiv url: http://arxiv.org/abs/2502.20684v1
• Date: Fri, 28 Feb 2025 03:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:44:20.718083
• Title: JAM: Controllable and Responsible Text Generation via Causal Reasoning and Latent Vector Manipulation
• Title（参考訳）: JAM:因果推論と潜在ベクトル操作による制御可能かつ責任のあるテキスト生成
• Authors: Yingbing Huang, Deming Chen, Abhishek K. Umrawal,
• Abstract要約: JAMは,大規模言語モデル(LLM)の潜伏空間に因果解析を統合することで,テキスト生成を解釈し,制御する新しいフレームワークである。 以上の結果から,JAMは従来のCTG法よりも最大で22%向上していることがわかった。 これらの結果は、JAMの責任と現実的なテキスト生成の有効性と効率を強調し、より解釈可能で制御可能なモデルへの道を開いた。
• 参考スコア（独自算出の注目度）: 7.2674168325821284
• License:
• Abstract: While large language models (LLMs) have made significant strides in generating coherent and contextually relevant text, they often function as opaque black boxes, trained on vast unlabeled datasets with statistical objectives, lacking an interpretable framework for responsible control. In this paper, we introduce JAM (Just A Move), a novel framework that interprets and controls text generation by integrating cause-effect analysis within the latent space of LLMs. Based on our observations, we uncover the inherent causality in LLM generation, which is critical for producing responsible and realistic outputs. Moreover, we explore latent vectors as fundamental components in LLM architectures, aiming to understand and manipulate them for more effective and efficient controllable text generation. We evaluate our framework using a range of tools, including the HHH criteria, toxicity reduction benchmarks, and GPT-4 alignment measures. Our results show that JAM achieves up to a 22% improvement over previous Controllable Text Generation (CTG) methods across multiple quantitative metrics and human-centric evaluations. Furthermore, JAM demonstrates greater computational efficiency compared to other CTG methods. These results highlight the effectiveness and efficiency of JAM for responsible and realistic text generation, paving the way for more interpretable and controllable models.
• Abstract（参考訳）: 大きな言語モデル(LLM)はコヒーレントで文脈的に関係のあるテキストを生成するために大きな進歩を遂げてきたが、しばしば不透明なブラックボックスとして機能し、統計的な目的を持った膨大なラベルのないデータセットで訓練され、責任ある制御のための解釈可能なフレームワークが欠如している。 本稿では,LLMの潜在空間に因果分析を統合することで,テキスト生成を解釈・制御する新しいフレームワークであるJAM(Just A Move)を紹介する。 本研究は,LLM生成の因果関係を明らかにすることを目的とした。 さらに,LLMアーキテクチャの基本コンポーネントとして潜在ベクトルを探索し,より効率的かつ効率的なテキスト生成のための理解と操作を目的とした。 我々は,HHH基準,毒性低減ベンチマーク,GPT-4アライメント対策など,さまざまなツールを用いてフレームワークの評価を行った。 以上の結果から,JAMは従来のCTG法よりも最大で22%向上していることがわかった。 さらに,JAMは他のCTG法と比較して計算効率が向上している。 これらの結果は、JAMの責任と現実的なテキスト生成の有効性と効率を強調し、より解釈可能で制御可能なモデルへの道を開いた。

関連論文リスト

• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
  大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。 生成したテキストの強力な検出器を開発することがますます重要になっている。 この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
  論文  参考訳（メタデータ） (2024-11-09T18:27:15Z)
• Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness [39.57155321515097]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-16T09:05:31Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。