論文の概要: Let Me Teach You: Pedagogical Foundations of Feedback for Language Models

• arxiv url: http://arxiv.org/abs/2307.00279v1
• Date: Sat, 1 Jul 2023 09:18:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:04:32.488638
• Title: Let Me Teach You: Pedagogical Foundations of Feedback for Language Models
• Title（参考訳）: 教育する: 言語モデルに対するフィードバックの教育的基礎
• Authors: Beatriz Borges, Niket Tandon, Tanja K\"aser, Antoine Bosselut
• Abstract要約: 自然言語フィードバック(NLF)は、Large Language Models(LLM)を人間の好みに合わせる方法として、ますます人気が高まっている。 伝達できる情報の豊かさと多様性にもかかわらず、NLFは手作業で設計され、任意であることが多い。 FELTは、フィードバック空間の様々な特徴を概説し、これらの変数に基づいたフィードバックコンテンツ分類について概説する。
• 参考スコア（独自算出の注目度）: 24.49236236953842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Feedback (NLF) is an increasingly popular avenue to align Large Language Models (LLMs) to human preferences. Despite the richness and diversity of the information it can convey, NLF is often hand-designed and arbitrary. In a different world, research in pedagogy has long established several effective feedback models. In this opinion piece, we compile ideas from pedagogy to introduce FELT, a feedback framework for LLMs that outlines the various characteristics of the feedback space, and a feedback content taxonomy based on these variables. Our taxonomy offers both a general mapping of the feedback space, as well as pedagogy-established discrete categories, allowing us to empirically demonstrate the impact of different feedback types on revised generations. In addition to streamlining existing NLF designs, FELT also brings out new, unexplored directions for research in NLF. We make our taxonomy available to the community, providing guides and examples for mapping our categorizations to future resources.
• Abstract（参考訳）: 自然言語フィードバック(NLF)は、Large Language Models(LLM)を人間の好みに合わせる手段として、ますます人気が高まっている。 伝達できる情報の豊かさと多様性にもかかわらず、nlfは手作りで任意であることが多い。 別の世界では、教育研究は長い間、いくつかの効果的なフィードバックモデルを確立してきた。 本稿では,フィードバック空間の諸特性を概説するllmsのフィードバックフレームワークであるフェルトを,これらの変数に基づいたフィードバック内容分類法として,教育学のアイデアをコンパイルして紹介する。 我々の分類学は、フィードバック空間の一般的なマッピングと、教育によって確立された個別カテゴリの両方を提供し、異なるフィードバックタイプが更新世代に与える影響を実証的に示す。 既存のNLF設計の合理化に加えて、FELTはNLFの研究のための新しい未調査の方向性も提供する。 分類をコミュニティに提供し、分類を将来のリソースにマッピングするためのガイドと例を提供します。

関連論文リスト

• Language Alignment via Nash-learning and Adaptive feedback [0.0]
  大規模言語モデルアライメントのためのヒューマンフィードバックによるナッシュラーニングの可能性を示す。 我々は、改良された相手の適応的フィードバックに対して、アライメントをミラー降下アルゴリズムとしてキャストすることで、この考え方をさらに推し進める。 得られたアルゴリズムは、人間に注釈付けされた嗜好データセットを必要とせずに、自己アライメントを行うことができる。
  論文  参考訳（メタデータ） (2024-06-22T16:55:21Z)
• AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails [43.19453208130667]
  大規模言語モデル(LLM)は、自動質問生成からエッセイ評価まで、いくつかのユースケースを教育で発見した。 本稿では,Large Language Models (LLMs) を用いて知的チューリングシステムを構築する可能性について検討する。 MWPTutor は LLM を用いて事前定義された有限状態トランスデューサの状態空間を補う。
  論文  参考訳（メタデータ） (2024-02-14T14:53:56Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• The Past, Present and Better Future of Feedback Learning in Large Language Models for Subjective Human Preferences and Values [16.62409302626101]
  我々は、ACLとarXivリポジトリを中心に95の論文を描いて、人間のフィードバックから学習するための既存のアプローチを調査した。 私たちは、現在の技術とプラクティスの概要と、フィードバックを使う動機を説明します。 我々は,5つの未解決概念と実践的課題を提起することによって,大規模言語モデルにおけるフィードバック学習のよりよい未来を奨励する。
  論文  参考訳（メタデータ） (2023-10-11T16:18:13Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
  この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。 まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。 第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。 第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
  論文  参考訳（メタデータ） (2023-05-01T17:36:06Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。