Fugu-MT 論文翻訳(概要): Minimization of Boolean Complexity in In-Context Concept Learning

論文の概要: Minimization of Boolean Complexity in In-Context Concept Learning

arxiv url: http://arxiv.org/abs/2412.02823v1
Date: Tue, 03 Dec 2024 20:41:37 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-05 15:09:57.735424
Title: Minimization of Boolean Complexity in In-Context Concept Learning
Title（参考訳）: 文脈内概念学習におけるブール複雑性の最小化
Authors: Leroy Z. Wang, R. Thomas McCoy, Shane Steinert-Threlkeld,
Abstract要約: タスク性能は概念の複雑さと非常に相関していることを示す。このことは、文脈内学習が、人間と似た方法で、単純さの学習バイアスを示すことを示唆している。
参考スコア（独自算出の注目度）: 10.004347307699959
License:
Abstract: What factors contribute to the relative success and corresponding difficulties of in-context learning for Large Language Models (LLMs)? Drawing on insights from the literature on human concept learning, we test LLMs on carefully designed concept learning tasks, and show that task performance highly correlates with the Boolean complexity of the concept. This suggests that in-context learning exhibits a learning bias for simplicity in a way similar to humans.
Abstract（参考訳）: 大規模言語モデル(LLM)における文脈内学習の相対的成功とそれに伴う困難に寄与する要因は何か? 人間の概念学習に関する文献からの洞察に基づいて、慎重に設計された概念学習タスクでLLMをテストし、タスクパフォーマンスが概念のブール複雑性と高い相関性を示す。このことは、文脈内学習が、人間と似た方法で、単純さの学習バイアスを示すことを示唆している。

関連論文リスト

In-Context Learning Improves Compositional Understanding of Vision-Language Models [2.762909189433944]
合成画像理解は、トレーニングデータに存在する物体バイアスのため、かなり難しい課題である。コントラストモデルと生成モデルを比較し、アーキテクチャの違い、事前学習データ、トレーニングタスクと損失を分析します。提案手法は,複数の構成的理解データセットにまたがるベースラインモデルより優れている。
論文参考訳（メタデータ） (2024-07-22T09:03:29Z)
Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文参考訳（メタデータ） (2024-02-20T14:43:39Z)
Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文参考訳（メタデータ） (2023-11-08T20:41:18Z)
ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文参考訳（メタデータ） (2023-04-21T16:23:47Z)
The Learnability of In-Context Learning [16.182561312622315]
そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
論文参考訳（メタデータ） (2023-03-14T13:28:39Z)
Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文参考訳（メタデータ） (2020-09-10T14:16:58Z)
Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文参考訳（メタデータ） (2020-07-14T22:04:17Z)
A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
論文参考訳（メタデータ） (2020-07-03T05:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。