Fugu-MT 論文翻訳(概要): Doppelgänger's Watch: A Split Objective Approach to Large Language Models

論文の概要: Doppelgänger's Watch: A Split Objective Approach to Large Language Models

arxiv url: http://arxiv.org/abs/2409.06107v1
Date: Mon, 9 Sep 2024 23:22:27 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 19:30:38.997425
Title: Doppelgänger's Watch: A Split Objective Approach to Large Language Models
Title（参考訳）: Doppelgänger氏の時計: 大規模言語モデルに対する分割的客観的アプローチ
Authors: Shervin Ghasemlou, Ashish Katiyar, Aparajita Saraf, Seungwhan Moon, Mangesh Pujari, Pinar Donmez, Babak Damavandi, Anuj Kumar,
Abstract要約: 本稿では,監視信号のコア能力,有用性から分離するバイカスタラルアーキテクチャを提案する。 Doppelg"angerは、基礎となる言語モデルと平行な新しいモジュールで、各トークンの生成を監督し、各トークンを含むシーケンスの監視スコアを同時に予測することを学ぶ。
参考スコア（独自算出の注目度）: 9.44831451138329
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we investigate the problem of "generation supervision" in large language models, and present a novel bicameral architecture to separate supervision signals from their core capability, helpfulness. Doppelg\"anger, a new module parallel to the underlying language model, supervises the generation of each token, and learns to concurrently predict the supervision score(s) of the sequences up to and including each token. In this work, we present the theoretical findings, and leave the report on experimental results to a forthcoming publication.
Abstract（参考訳）: 本稿では,大規模言語モデルにおける「世代管理」の問題について検討し,その中核的能力,有用性から,監督信号を分離するための新しいバイカスタラルアーキテクチャを提案する。 Doppelg\"angerは、基礎となる言語モデルと平行な新しいモジュールで、各トークンの生成を監督し、各トークンを含むシーケンスの監視スコアを同時に予測することを学ぶ。本研究は, 理論的知見を提示し, 実験結果の報告を今後の発表に残す。

関連論文リスト

Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文参考訳（メタデータ） (2024-02-22T10:19:34Z)
Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation [47.33223015862104]
本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
論文参考訳（メタデータ） (2023-01-05T19:35:30Z)
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following [26.386772715777223]
本稿では,タスクの指示における半教師付き学習のためのマルチモーダル生成モデルを提案する。モデルは、ペア化されたデータの共有表現を学習し、未ペアデータの再構築によって半教師付き学習を可能にする。 BabyAIおよびRoom-to-Room環境における実験により,提案手法は未ペアデータを活用することにより,命令の処理性能を向上させることを示した。
論文参考訳（メタデータ） (2022-12-29T03:23:43Z)
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models [27.11678023496321]
本稿では,Winograd Challengeにおけるゼロショットコモンセンス推論の実現可能性について検討する。類似概念関係の言語摂動を用いて言語モデルを洗練する,新たな自己教師型学習手法を提案する。概念的にシンプルなフレームワークの実証分析は、複数のベンチマーク上でゼロショットコモンセンス推論が実現可能であることを示す。
論文参考訳（メタデータ） (2021-09-10T21:02:24Z)
Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文参考訳（メタデータ） (2021-08-03T03:09:25Z)
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining [3.4519649635864584]
本研究は、ペアまたはペアなしのバイリンガルテキストを用いた言語間表現の学習手法を提案する。我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。
論文参考訳（メタデータ） (2021-04-15T17:51:22Z)
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文参考訳（メタデータ） (2020-12-18T15:53:50Z)
What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文参考訳（メタデータ） (2020-11-06T02:23:01Z)
Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文参考訳（メタデータ） (2020-10-26T21:34:39Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
Narrative Text Generation with a Latent Discrete Plan [39.71663365273463]
本稿では,その生成過程の一環として,物語中の文ごとに1つのアンカー語列を最初にサンプリングする潜時変数モデルを提案する。トレーニング中は、アンカー語の列を潜在変数として扱い、アンカーの列を誘導し、教師なしの方法で生成を誘導する。我々は,本モデルで作成したストーリーが,ストーリープランを考慮しないベースラインと比較して評価が優れていることを示す,人間による評価を行う。
論文参考訳（メタデータ） (2020-10-07T08:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。