論文の概要: generAItor: Tree-in-the-Loop Text Generation for Language Model Explainability and Adaptation

• arxiv url: http://arxiv.org/abs/2403.07627v1
• Date: Tue, 12 Mar 2024 13:09:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:22:57.436610
• Title: generAItor: Tree-in-the-Loop Text Generation for Language Model Explainability and Adaptation
• Title（参考訳）: generaitor: 言語モデル説明と適応のためのtree-in-the-loopテキスト生成
• Authors: Thilo Spinner, Rebecca Kehlbeck, Rita Sevastjanova, Tobias St\"ahle, Daniel A. Keim, Oliver Deussen, Mennatallah El-Assady
• Abstract要約: 大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。 本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。 視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
• 参考スコア（独自算出の注目度）: 28.715001906405362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are widely deployed in various downstream tasks, e.g., auto-completion, aided writing, or chat-based text generation. However, the considered output candidates of the underlying search algorithm are under-explored and under-explained. We tackle this shortcoming by proposing a tree-in-the-loop approach, where a visual representation of the beam search tree is the central component for analyzing, explaining, and adapting the generated outputs. To support these tasks, we present generAItor, a visual analytics technique, augmenting the central beam search tree with various task-specific widgets, providing targeted visualizations and interaction possibilities. Our approach allows interactions on multiple levels and offers an iterative pipeline that encompasses generating, exploring, and comparing output candidates, as well as fine-tuning the model based on adapted data. Our case study shows that our tool generates new insights in gender bias analysis beyond state-of-the-art template-based methods. Additionally, we demonstrate the applicability of our approach in a qualitative user study. Finally, we quantitatively evaluate the adaptability of the model to few samples, as occurring in text-generation use cases.
• Abstract（参考訳）: 大規模な言語モデル(llm)は、自動補完、手書き支援、チャットベースのテキスト生成など、さまざまな下流タスクに広く展開されている。 しかし、基礎となる探索アルゴリズムの出力候補は未探索であり、未説明である。 本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。 これらのタスクをサポートするために,ビジュアル解析技術であるgeneraitorでは,タスク固有のウィジェットを用いて中央ビーム探索ツリーを拡張し,対象とする可視化とインタラクションの可能性を提供する。 提案手法は,複数のレベルでのインタラクションを可能にし,出力候補の生成,探索,比較を含む反復パイプラインを提供するとともに,適応データに基づいてモデルを微調整する。 本研究は,最先端のテンプレートベース手法を超えて,ジェンダーバイアス分析に新たな知見をもたらすことを示す。 さらに,定性的なユーザスタディにおいて,アプローチの適用性を示す。 最後に,テキスト生成のユースケースで発生するような,少数のサンプルに対するモデルの適応性を定量的に評価する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Multi-Level Explanations for Generative Language Models [45.82956216020136]
  LIMEやSHAPのような摂動に基づく説明法はテキスト分類に一般的に適用される。 この研究は、生成言語モデルへの拡張に焦点を当てている。 我々は、異なる属性アルゴリズムでインスタンス化できるMExGenという一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T15:06:14Z)
• Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges [29.856694782121448]
  我々は,大規模言語モデルに係わるいくつかの課題を,データおよびモデル固有の,言語的,社会言語的な課題に分類する。 これらの問題に対処するためには、ランナー候補とそれに対応する確率を含むモデルアウトプットの総合的な検討が必要である。 本研究では,ビーム探索木を探索するインタラクティブな視覚的手法を導入し,生成時のモデルによる決定の分析を容易にする。
  論文  参考訳（メタデータ） (2023-10-17T13:20:16Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。