論文の概要: Beyond the Chat: Executable and Verifiable Text-Editing with LLMs
- arxiv url: http://arxiv.org/abs/2309.15337v1
- Date: Wed, 27 Sep 2023 00:56:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 17:07:46.771324
- Title: Beyond the Chat: Executable and Verifiable Text-Editing with LLMs
- Title(参考訳): Beyond the Chat: LLMによる実行可能で検証可能なテキスト編集
- Authors: Philippe Laban, Jesse Vig, Marti A. Hearst, Caiming Xiong, Chien-Sheng
Wu
- Abstract要約: 近年,Large Language Models (LLMs) を利用した会話インタフェースが,文書編集時にフィードバックを得る手段として人気になっている。
InkSyncは、編集中のドキュメント内で直接実行可能な編集を推奨する編集インターフェースである。
- 参考スコア(独自算出の注目度): 87.84199761550634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversational interfaces powered by Large Language Models (LLMs) have
recently become a popular way to obtain feedback during document editing.
However, standard chat-based conversational interfaces do not support
transparency and verifiability of the editing changes that they suggest. To
give the author more agency when editing with an LLM, we present InkSync, an
editing interface that suggests executable edits directly within the document
being edited. Because LLMs are known to introduce factual errors, Inksync also
supports a 3-stage approach to mitigate this risk: Warn authors when a
suggested edit introduces new information, help authors Verify the new
information's accuracy through external search, and allow an auditor to perform
an a-posteriori verification by Auditing the document via a trace of all
auto-generated content. Two usability studies confirm the effectiveness of
InkSync's components when compared to standard LLM-based chat interfaces,
leading to more accurate, more efficient editing, and improved user experience.
- Abstract(参考訳): 近年,Large Language Models (LLMs) を利用した会話インタフェースが,文書編集時にフィードバックを得る手段として人気になっている。
しかし、標準的なチャットベースの会話インタフェースは、彼らが提案する編集変更の透明性と妥当性をサポートしない。
LLMで編集する場合、著者により多くのエージェンシーを与えるため、編集中の文書から直接実行可能な編集を提案する編集インターフェースであるInkSyncを提示する。
llmは事実的エラーを引き起こすことが知られているため、inksyncはリスクを軽減するための3段階のアプローチもサポートしている。 提案されている編集が新しい情報を導入すると著者に警告し、著者が外部検索を通じて新しい情報の正確性を検証するのに役立つ。
2つのユーザビリティ研究は、標準LLMベースのチャットインタフェースと比較して、InkSyncのコンポーネントの有効性を確認し、より正確で、より効率的な編集、ユーザーエクスペリエンスの向上につながった。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence [68.82726887802856]
GenAudit - 文書基底タスクの事実チェック LLM 応答を支援するためのツール。
これらのタスクを実行するためにモデルをトレーニングし、ユーザに対して推奨の編集とエビデンスを示すインタラクティブインターフェースを設計します。
システムによってほとんどのエラーがフラグ付けされていることを保証するため,精度への影響を最小限に抑えつつエラーリコールを増大させる手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T21:45:55Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video
Editing [23.010237004536485]
大きな言語モデル(LLM)は、初心者の障壁を減らすためにビデオ編集ワークフローに統合することができる。
LAVEはLLMを利用したエージェントアシストと言語拡張編集機能を提供する新しいシステムである。
初学者から熟練編集者まで8名の被験者を対象に,LAVEの有効性を実証した。
論文 参考訳(メタデータ) (2024-02-15T19:53:11Z) - Knowledge Editing on Black-box Large Language Models [37.17131278142237]
知識編集は、大きな言語モデル(LLM)の振る舞いを効率的に正確に修正し、特定の知識を更新することを目的としている。
現在の研究は、主にホワイトボックスのLLM編集に焦点を当てており、重要なシナリオであるブラックボックスのLLM編集を見下ろしている。
ブラックボックスLLMにKEを導入し,既存の評価の限界を克服するための総合評価フレームワークを提案する。
2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
論文 参考訳(メタデータ) (2024-02-13T17:59:34Z) - Guiding LLM to Fool Itself: Automatically Manipulating Machine Reading
Comprehension Shortcut Triggers [76.77077447576679]
真のラベルに急激な相関関係を持つ機能によって引き起こされるショートカットは、機械読み取り(MRC)システムに対する潜在的な脅威として現れている。
サンプルにショートカットトリガーを追加するためのエディタをガイドするフレームワークを導入します。
GPT4をエディタとして使うと、LCMを騙すサンプルのトリガショートカットをうまく編集できる。
論文 参考訳(メタデータ) (2023-10-24T12:37:06Z) - XATU: A Fine-grained Instruction-based Benchmark for Explainable Text
Updates [8.368558087934101]
本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。
XATUは、語彙、構文、意味論、知識集約的な編集を取り入れ、幅広いトピックやテキストタイプをカバーしている。
既存のオープンおよびクローズドな大規模言語モデルをベンチマークに対して評価することにより、命令チューニングの有効性と、様々な編集タスクにおける基礎となるアーキテクチャの影響を実証する。
論文 参考訳(メタデータ) (2023-09-20T04:58:59Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。