論文の概要: Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits
- arxiv url: http://arxiv.org/abs/2409.14509v2
- Date: Wed, 25 Sep 2024 04:58:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 19:25:19.128280
- Title: Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits
- Title(参考訳): AIによる文章作成は救われるか? : 編集による文字作成プロセスにおけるイディオシクスの緩和と人間とAIのアライメントの改善
- Authors: Tuhin Chakrabarty, Philippe Laban, Chien-Sheng Wu,
- Abstract要約: 私たちはプロの作家を雇い、いくつかの創造的なドメインで段落を編集しました。
LAMPコーパス 1,057 LLM- generated paragraphs by professional writer based by our taxonomy。
LAMPの分析から,本研究で用いたLLMはいずれも,書字品質の面では優れていないことが明らかとなった。
- 参考スコア(独自算出の注目度): 39.00434175773803
- License:
- Abstract: LLM-based applications are helping people write, and LLM-generated text is making its way into social media, journalism, and our classrooms. However, the differences between LLM-generated and human-written text remain unclear. To explore this, we hired professional writers to edit paragraphs in several creative domains. We first found these writers agree on undesirable idiosyncrasies in LLM-generated text, formalizing it into a seven-category taxonomy (e.g. cliches, unnecessary exposition). Second, we curated the LAMP corpus: 1,057 LLM-generated paragraphs edited by professional writers according to our taxonomy. Analysis of LAMP reveals that none of the LLMs used in our study (GPT4o, Claude-3.5-Sonnet, Llama-3.1-70b) outperform each other in terms of writing quality, revealing common limitations across model families. Third, we explored automatic editing methods to improve LLM-generated text. A large-scale preference annotation confirms that although experts largely prefer text edited by other experts, automatic editing methods show promise in improving alignment between LLM-generated and human-written text.
- Abstract(参考訳): LLMベースのアプリケーションは、人びとが書くのを助け、LLMが生成したテキストは、ソーシャルメディアやジャーナリズム、そして私たちの教室に浸透している。
しかし、LLM生成テキストと人文テキストの違いはいまだに不明である。
これを探るため、私たちはプロの作家を雇い、いくつかのクリエイティブドメインの段落を編集しました。
筆者らはまず, LLM 生成テキストにおける望ましくない慣用句に合意し,それを7つの分類分類(例: cliches, unnecessary exposition)に定式化した。
第2に LAMP コーパスを整理し, 専門家が編集した 1,057 LLM コーパスを分類した。
LAMPの分析から,本研究で用いたLLM(GPT4o, Claude-3.5-Sonnet, Llama-3.1-70b)はいずれも, 書字品質の面では優れておらず, モデルファミリーに共通する限界がみられた。
第3に,LLM生成テキストを改善するための自動編集手法について検討した。
大規模な選好アノテーションは、専門家が他の専門家によって編集されたテキストをほとんど好んでいるが、自動編集手法は、LLM生成テキストと人文テキストのアライメントを改善することを約束していることを示している。
関連論文リスト
- LLM-Collaboration on Automatic Science Journalism for the General Audience [3.591143309194537]
科学ジャーナリズムは、現在の科学的発見を非専門主義者に報告している。
この課題は、聴衆が提示された研究に関する具体的な知識を欠いているため、難しくなる可能性がある。
本稿では,現実の書き込み-フィードバック-リビジョンワークフローを模倣した3つのLLMを統合するフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-13T03:31:35Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-05-27T17:38:33Z) - Improving Cross-Domain Low-Resource Text Generation through LLM
Post-Editing: A Programmer-Interpreter Approach [50.400999859808984]
後編集は、大規模言語モデル(LLM)によって生成されたテキストの品質向上に有効であることが証明された。
本稿では,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。
実験により,プログラマ・インタプリタは論理形式変換や低リソース機械翻訳において,GPT-3.5の性能を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2024-02-07T06:13:14Z) - Detecting LLM-Assisted Writing in Scientific Communication: Are We There Yet? [2.894383634912343]
大規模言語モデル(LLM)は、特に筆記支援の領域において、テキスト生成を著しく変えた。
LLM支援文字の正確な認識を促進するための潜在的な手段は、自動検出器の使用である。
近縁なLCM生成テキスト検出器を4つ評価した結果, 簡易なアドホック検出器と比較して, その最適性能が示された。
論文 参考訳(メタデータ) (2024-01-30T08:07:28Z) - Fine-grained LLM Agent: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
LLMエージェントは、大規模言語モデルの出力を洗練するための推論手法である。
中心となる考え方は、学習したきめ細かいフィードバックモデルを使用して欠陥を特定し、LCMを反復的に洗練させることです。
機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2023-11-15T19:52:11Z) - Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
論文 参考訳(メタデータ) (2023-10-30T08:40:16Z) - Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。
モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
論文 参考訳(メタデータ) (2023-10-18T13:38:03Z) - Detecting LLM-Generated Text in Computing Education: A Comparative Study
for ChatGPT Cases [0.0]
大規模言語モデル(LLM)は、教育における学術的完全性に深刻な脅威をもたらしている。
現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善を必要としている。
論文 参考訳(メタデータ) (2023-07-10T12:18:34Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。