論文の概要: Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits

• arxiv url: http://arxiv.org/abs/2409.14509v5
• Date: Tue, 04 Mar 2025 18:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:12:02.501114
• Title: Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits
• Title（参考訳）: AIによる文章作成は救われるか? : 編集による文字作成プロセスにおけるイディオシクスの緩和と人間とAIのアライメントの改善
• Authors: Tuhin Chakrabarty, Philippe Laban, Chien-Sheng Wu,
• Abstract要約: 私たちはプロの作家を雇い、いくつかの創造的なドメインで段落を編集しました。 LAMPコーパス 1,057 LLM- generated paragraphs by professional writer based by our taxonomy。 LAMPの分析から,本研究で用いたLLMはいずれも,書字品質の面では優れていないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 39.00434175773803
• License:
• Abstract: LLM-based applications are helping people write, and LLM-generated text is making its way into social media, journalism, and our classrooms. However, the differences between LLM-generated and human written text remain unclear. To explore this, we hired professional writers to edit paragraphs in several creative domains. We first found these writers agree on undesirable idiosyncrasies in LLM generated text, formalizing it into a seven-category taxonomy (e.g. clich\'es, unnecessary exposition). Second, we curated the LAMP corpus: 1,057 LLM-generated paragraphs edited by professional writers according to our taxonomy. Analysis of LAMP reveals that none of the LLMs used in our study (GPT4o, Claude-3.5-Sonnet, Llama-3.1-70b) outperform each other in terms of writing quality, revealing common limitations across model families. Third, building on existing work in automatic editing we evaluated methods to improve LLM-generated text. A large-scale preference annotation confirms that although experts largely prefer text edited by other experts, automatic editing methods show promise in improving alignment between LLM-generated and human-written text.
• Abstract（参考訳）: LLMベースのアプリケーションは、人々が書くのを助け、LLMが生成したテキストは、ソーシャルメディア、ジャーナリズム、そして私たちの教室に浸透している。 しかし、LLM生成テキストと人文テキストの違いはいまだに不明である。 これを探るため、私たちはプロの作家を雇い、いくつかのクリエイティブドメインの段落を編集しました。 筆者らはまず, LLM 生成テキストにおける望ましくない慣用句に合意し,それを7つの分類分類(eg clich\'es, unnecessary exposition)に定式化した。 第2に LAMP コーパスを整理し, 専門家が編集した 1,057 LLM コーパスを分類した。 LAMPの分析から,本研究で用いたLLM(GPT4o, Claude-3.5-Sonnet, Llama-3.1-70b)はいずれも, 書字品質の面では優れておらず, モデルファミリーに共通する限界がみられた。 第3に、自動編集における既存の作業に基づいて、LLM生成テキストを改善する方法を評価した。 大規模な選好アノテーションは、専門家が他の専門家によって編集されたテキストをほとんど好んでいるが、自動編集手法は、LLM生成テキストと人文テキストのアライメントを改善することを約束していることを示している。

関連論文リスト

• Differentially Private Steering for Large Language Model Alignment [55.30573701583768]
  本稿では,大規模言語モデルとプライベートデータセットの整合性に関する最初の研究について述べる。 本研究では, LLM underlineAment (PSA) アルゴリズムのためのtextitunderlinePrivate underlineSteeringを提案する。 以上の結果から,PSAはLPMアライメントのDP保証を実現し,性能の低下を最小限に抑えることができた。
  論文  参考訳（メタデータ） (2025-01-30T17:58:36Z)
• Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection [7.242609314791262]
  Human & LLM Paraphrase Collection (HLPC)は、人間の文章とパラフレーズを組み込んだ第一種データセットである。 我々は,人書きパラフレーズ,GPTとOPTのLLM生成文書,DIPPERとBARTのLLM生成パラフレーズを組み込んだ分類実験を行った。 以上の結果から,人文パラフレーズの含浸がLLM検出性能に大きな影響を与え,TPR@1%FPRが促進され,AUROCのトレードオフや精度が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-06T10:06:21Z)
• From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items [0.18416014644193068]
  LLMをコモンセンス評価項目の著者とみなす。 我々はLLMに対して、コモンセンス推論のための顕著なベンチマークのスタイルでアイテムを生成するよう促す。 元のCOPAベンチマークの回答に成功するLCMも、自分自身の項目のオーサリングに成功していることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T22:42:23Z)
• Customizing Large Language Model Generation Style using Parameter-Efficient Finetuning [24.263699489328427]
  ワンサイズフィットのすべての大規模言語モデル(LLM)は、人々が書くのを助けるためにますます使われています。 本稿では,Low-Rank Adaptationを用いたパラメータ効率ファインタニング(PEFT)がLLM世代を効果的に導くことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-09-06T19:25:18Z)
• LLM-Collaboration on Automatic Science Journalism for the General Audience [3.591143309194537]
  科学ジャーナリズムは、現在の科学的発見を非専門主義者に報告している。 この課題は、聴衆が提示された研究に関する具体的な知識を欠いているため、難しくなる可能性がある。 本稿では,現実の書き込み-フィードバック-リビジョンワークフローを模倣した3つのLLMを統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-13T03:31:35Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach [50.400999859808984]
  後編集は、大規模言語モデル(LLM)によって生成されたテキストの品質向上に有効であることが証明された。 本稿では,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。 実験により,プログラマ・インタプリタは論理形式変換や低リソース機械翻訳において,GPT-3.5の性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-07T06:13:14Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases [0.0]
  大規模言語モデル(LLM)は、教育における学術的完全性に深刻な脅威をもたらしている。 現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善を必要としている。
  論文  参考訳（メタデータ） (2023-07-10T12:18:34Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。