論文の概要: Language Models as Agent Models

• arxiv url: http://arxiv.org/abs/2212.01681v1
• Date: Sat, 3 Dec 2022 20:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 17:50:25.034569
• Title: Language Models as Agent Models
• Title（参考訳）: エージェントモデルとしての言語モデル
• Authors: Jacob Andreas
• Abstract要約: LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。 今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
• 参考スコア（独自算出の注目度）: 42.37422271002712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) are trained on collections of documents, written by individual human agents to achieve specific goals in an outside world. During training, LMs have access only to text of these documents, with no direct evidence of the internal states of the agents that produced them -- a fact often used to argue that LMs are incapable of modeling goal-directed aspects of human language production and comprehension. Can LMs trained on text learn anything at all about the relationship between language and use? I argue that LMs are models of intentional communication in a specific, narrow sense. When performing next word prediction given a textual context, an LM can infer and represent properties of an agent likely to have produced that context. These representations can in turn influence subsequent LM generation in the same way that agents' communicative intentions influence their language. I survey findings from the recent literature showing that -- even in today's non-robust and error-prone models -- LMs infer and use representations of fine-grained communicative intentions and more abstract beliefs and goals. Despite the limited nature of their training data, they can thus serve as building blocks for systems that communicate and act intentionally.
• Abstract（参考訳）: 言語モデル(LM)は、外部の世界で特定の目標を達成するために、個々の人間のエージェントによって書かれた文書の集合に基づいて訓練される。 訓練中、LMはこれらの文書のテキストにのみアクセスでき、それらを生み出したエージェントの内部状態の直接的な証拠はない。 テキストで訓練されたLMは、言語と使用の関係について、まったく学べるだろうか? LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。 テキストコンテキストが与えられた次の単語予測を行う場合、LMはそのコンテキストを生成する可能性のあるエージェントの特性を推論し、表現することができる。 これらの表現は、エージェントのコミュニケーション意図が彼らの言語に影響を与えるのと同じように、後続のlm生成に影響を与えることができる。 私は最近の文献から、今日の非ロバストおよびエラーを起こしやすいモデルでさえ、きめ細かいコミュニケーション意図とより抽象的な信念と目標の表現を lms が推論し使用していることが分かる。 トレーニングデータの性質は限られているものの、故意に通信し行動するシステムのビルディングブロックとして機能することができる。

関連論文リスト

• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents [111.33545170562337]
  自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。 事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。 本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:59:45Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Towards Continual Entity Learning in Language Models for Conversational Agents [0.5330240017302621]
  我々はエンティティ認識言語モデル(EALM)を導入し、エンティティのカタログに基づいて訓練されたエンティティモデルを事前訓練されたLMに統合する。 統合言語モデルでは,文コンテキストに応じて,エンティティモデルからの情報を事前学習したLMに適応的に付加する。 タスク指向対話データセットでは,特に長文発話では,難易度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-07-30T21:10:09Z)
• Discourse structure interacts with reference but not syntax in neural language models [17.995905582226463]
  本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。 人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。 以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-10T03:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。