論文の概要: Language Model Cascades
- arxiv url: http://arxiv.org/abs/2207.10342v1
- Date: Thu, 21 Jul 2022 07:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 12:20:42.290734
- Title: Language Model Cascades
- Title（参考訳）: 言語モデルカスケード
- Authors: David Dohan, Winnie Xu, Aitor Lewkowycz, Jacob Austin, David Bieber,
Raphael Gontijo Lopes, Yuhuai Wu, Henryk Michalewski, Rif A. Saurous, Jascha
Sohl-dickstein, Kevin Murphy, Charles Sutton
- Abstract要約: テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
- 参考スコア（独自算出の注目度）: 72.18809575261498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompted models have demonstrated impressive few-shot learning abilities.
Repeated interactions at test-time with a single model, or the composition of
multiple models together, further expands capabilities. These compositions are
probabilistic models, and may be expressed in the language of graphical models
with random variables whose values are complex data types such as strings.
Cases with control flow and dynamic structure require techniques from
probabilistic programming, which allow implementing disparate model structures
and inference strategies in a unified language. We formalize several existing
techniques from this perspective, including scratchpads / chain of thought,
verifiers, STaR, selection-inference, and tool use. We refer to the resulting
programs as language model cascades.
- Abstract（参考訳）: プロンプテッドモデルは、驚くべき数発の学習能力を示している。
単一モデルによるテスト時の反復的なインタラクション、あるいは複数のモデルの組み合わせは、機能をさらに拡張します。
これらの合成は確率モデルであり、文字列のような複雑なデータ型である確率変数を持つグラフィカルモデルの言語で表現することができる。
制御フローと動的構造を持つ場合、統一言語で異なるモデル構造と推論戦略を実装することができる確率的プログラミングのテクニックが必要である。
この観点から,スクラッチパッドや思考の連鎖,検証器,STaR,選択推論,ツール利用など,既存の手法を定式化した。
結果として得られたプログラムを言語モデルカスケードと呼ぶ。
関連論文リスト
- Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。
当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
論文 参考訳（メタデータ） (2024-09-13T01:40:20Z) - Multilingual Models for Check-Worthy Social Media Posts Detection [0.552480439325792]
この研究には様々なモデルの包括的分析が含まれており、特に多言語モデルに焦点を当てている。
この研究の新規性は、検証可能な事実的主張を効果的に含む有害なポストとポストを同時に検出できるマルチラベル多言語分類モデルの開発にある。
論文 参考訳（メタデータ） (2024-08-13T08:55:28Z) - DiSK: A Diffusion Model for Structured Knowledge [12.472921856815942]
Diffusion Models of Structured Knowledge (DiSK) は構造化データに特化した新しいアーキテクチャとトレーニング手法である。
DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理する。
論文 参考訳（メタデータ） (2023-12-08T18:59:14Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - Artificial Interrogation for Attributing Language Models [0.0]
この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。
コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。
両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
論文 参考訳（メタデータ） (2022-11-20T05:46:29Z) - Multi-Model Probabilistic Programming [0.0]
本稿では,各プログラムが関係する確率モデルのネットワークを表現できる確率計画の拡張について述べる。
本稿では,これらの多モデル確率型プログラムの形式的意味論,ネットワーク・オブ・モデル演算のための効率的なアルゴリズムの集合,および一般的な確率型言語であるStan上に構築されたサンプル実装について述べる。
このネットワーク・オブ・モデル表現は、モデル空間における検索と自動化、モデル開発の追跡とコミュニケーション、pハックのような問題を緩和する明示的なモデラー自由度を含む、多くの扉を開く。
論文 参考訳（メタデータ） (2022-08-12T15:38:15Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Explicitly Modeling Syntax in Language Models with Incremental Parsing
and a Dynamic Oracle [88.65264818967489]
我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。
モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。
実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
論文 参考訳（メタデータ） (2020-10-21T17:39:15Z) - Overestimation of Syntactic Representationin Neural Language Models [16.765097098482286]
構文構造を誘導するモデルの能力を決定する一般的な方法の1つは、テンプレートに従って生成された文字列上でモデルを訓練し、それらの文字列と表面的に類似した文字列を異なる構文で区別するモデルの能力をテストすることである。
本稿では,2つの非シンタクティックなベースライン言語モデルを用いた最近の論文の肯定的な結果を再現することで,このアプローチの根本的な問題を説明する。
論文 参考訳（メタデータ） (2020-04-10T15:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。