論文の概要: Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges

• arxiv url: http://arxiv.org/abs/2310.11252v1
• Date: Tue, 17 Oct 2023 13:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 16:01:18.164705
• Title: Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges
• Title（参考訳）: 未記述の言語モデルに対処するためにビーム探索木を視覚的に調査する
• Authors: Thilo Spinner, Rebecca Kehlbeck, Rita Sevastjanova, Tobias St\"ahle, Daniel A. Keim, Oliver Deussen, Andreas Spitz, Mennatallah El-Assady
• Abstract要約: 我々は,大規模言語モデルに係わるいくつかの課題を,データおよびモデル固有の,言語的,社会言語的な課題に分類する。 これらの問題に対処するためには、ランナー候補とそれに対応する確率を含むモデルアウトプットの総合的な検討が必要である。 本研究では,ビーム探索木を探索するインタラクティブな視覚的手法を導入し,生成時のモデルによる決定の分析を容易にする。
• 参考スコア（独自算出の注目度）: 29.856694782121448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing popularity of generative language models has amplified interest in interactive methods to guide model outputs. Prompt refinement is considered one of the most effective means to influence output among these methods. We identify several challenges associated with prompting large language models, categorized into data- and model-specific, linguistic, and socio-linguistic challenges. A comprehensive examination of model outputs, including runner-up candidates and their corresponding probabilities, is needed to address these issues. The beam search tree, the prevalent algorithm to sample model outputs, can inherently supply this information. Consequently, we introduce an interactive visual method for investigating the beam search tree, facilitating analysis of the decisions made by the model during generation. We quantitatively show the value of exposing the beam search tree and present five detailed analysis scenarios addressing the identified challenges. Our methodology validates existing results and offers additional insights.
• Abstract（参考訳）: 生成言語モデルの人気が高まり、モデル出力をガイドするインタラクティブな手法への関心が高まっている。 プロンプト精製はこれらの方法の出力に影響を与える最も効果的な方法の1つである。 我々は,大規模言語モデルに係わるいくつかの課題を,データ,モデル固有,言語,社会言語的課題に分類する。 これらの問題に対処するには、次点候補とその対応する確率を含むモデル出力の包括的な検討が必要である。 モデル出力をサンプリングする一般的なアルゴリズムであるビーム探索木は、本質的にこの情報を供給することができる。 その結果,ビーム探索木を探索するインタラクティブな視覚的手法を導入し,生成時のモデルによる決定の分析を容易にする。 ビーム探索木を露出させる価値を定量的に示し,特定課題に対する5つの詳細な分析シナリオを提案する。 我々の方法論は既存の結果を検証し、さらなる洞察を提供する。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• generAItor: Tree-in-the-Loop Text Generation for Language Model Explainability and Adaptation [28.715001906405362]
  大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。 本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。 視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
  論文  参考訳（メタデータ） (2024-03-12T13:09:15Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation [5.661396828160973]
  本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。 この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T15:26:39Z)
• Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs [6.869834883252353]
  本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。 その結果,大規模言語モデルでは対話からグラフクエリを生成することができることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T12:28:33Z)
• OLaLa: Ontology Matching with Large Language Models [2.211868306499727]
  オントロジーマッチング(Ontology Matching)は、自然言語の情報が処理すべき最も重要な信号の1つである、困難なタスクである。 大規模言語モデルの台頭により、この知識をマッチングパイプラインにより良い方法で組み込むことが可能である。 少数の例とよく設計されたプロンプトで、教師付きマッチングシステムに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-07T09:34:20Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。