論文の概要: ICLR: In-Context Learning of Representations

• arxiv url: http://arxiv.org/abs/2501.00070v1
• Date: Sun, 29 Dec 2024 18:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:38.136243
• Title: ICLR: In-Context Learning of Representations
• Title（参考訳）: ICLR: 表現のインコンテキスト学習
• Authors: Core Francisco Park, Andrew Lee, Ekdeep Singh Lubana, Yongyi Yang, Maya Okawa, Kento Nishi, Martin Wattenberg, Hidenori Tanaka,
• Abstract要約: 文脈の規模が拡大するにつれて、事前訓練された意味表現から、グラフ構造に整合した文脈内表現への突然の再構成が存在することを示す。 以上の結果から,拡張コンテキストサイズはモデル表現を柔軟に再構成し,新たな能力を解き放つ可能性が示唆された。
• 参考スコア（独自算出の注目度）: 19.331483579806623
• License:
• Abstract: Recent work has demonstrated that semantics specified by pretraining data influence how representations of different concepts are organized in a large language model (LLM). However, given the open-ended nature of LLMs, e.g., their ability to in-context learn, we can ask whether models alter these pretraining semantics to adopt alternative, context-specified ones. Specifically, if we provide in-context exemplars wherein a concept plays a different role than what the pretraining data suggests, do models reorganize their representations in accordance with these novel semantics? To answer this question, we take inspiration from the theory of conceptual role semantics and define a toy "graph tracing" task wherein the nodes of the graph are referenced via concepts seen during training (e.g., apple, bird, etc.) and the connectivity of the graph is defined via some predefined structure (e.g., a square grid). Given exemplars that indicate traces of random walks on the graph, we analyze intermediate representations of the model and find that as the amount of context is scaled, there is a sudden re-organization from pretrained semantic representations to in-context representations aligned with the graph structure. Further, we find that when reference concepts have correlations in their semantics (e.g., Monday, Tuesday, etc.), the context-specified graph structure is still present in the representations, but is unable to dominate the pretrained structure. To explain these results, we analogize our task to energy minimization for a predefined graph topology, providing evidence towards an implicit optimization process to infer context-specified semantics. Overall, our findings indicate scaling context-size can flexibly re-organize model representations, possibly unlocking novel capabilities.
• Abstract（参考訳）: 近年の研究では、データ事前学習によって規定される意味が、異なる概念の表現が大規模言語モデル(LLM)でどのように組織化されるかに影響を与えることが示されている。 しかし、LLMのオープンな性質、例えば文脈内学習能力を考えると、モデルがこれらの事前学習セマンティクスを変更して、代替的なコンテキスト指定のセマンティクスを採用するかどうかを問うことができる。 特に、事前学習データから示唆される概念と異なる役割を担っているコンテキスト内見本を提供する場合、モデルはこれらの新しいセマンティクスに従って表現を再編成するだろうか? この疑問に答えるために、概念的役割意味論から着想を得て、グラフのノードが訓練中に見られる概念(例えばリンゴ、鳥など)を通して参照され、グラフの接続が予め定義された構造(例えば、正方形格子)を介して定義されるような「グラフ追跡」タスクを定義する。 グラフ上のランダムウォークの痕跡を示す例を考えれば、モデルの中間表現を解析し、文脈の規模が拡大するにつれて、事前学習された意味表現から、グラフ構造に整合したコンテキスト内表現への突然の再構成が存在することが分かる。 さらに、参照概念がセマンティクス(例えば、月曜日、火曜日など)に相関を持つ場合、文脈指定グラフ構造は、まだ表現に存在しているが、事前訓練された構造を支配できない。 これらの結果を説明するために、事前に定義されたグラフトポロジのエネルギー最小化にタスクを類似させ、文脈特定意味論を推論するための暗黙の最適化プロセスを示す証拠を提供する。 以上の結果から,拡張コンテキストサイズはモデル表現を柔軟に再構成し,新たな能力を解き放つ可能性が示唆された。

関連論文リスト

• Situational Scene Graph for Structured Human-centric Situation Understanding [15.91717913059569]
  本研究では,人的対象関係とそれに対応する意味特性の両方をエンコードするために,SSGというグラフベースの表現を提案する。 セマンティックディテールは、当初単一のアクションを表現するように設計された状況フレームにインスパイアされた、事前に定義された役割と値として表現される。 間もなくコードとデータセットをリリースします。
  論文  参考訳（メタデータ） (2024-10-30T09:11:25Z)
• PRODIGY: Enabling In-context Learning Over Graphs [112.19056551153454]
  コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。 ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
  論文  参考訳（メタデータ） (2023-05-21T23:16:30Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Unified Graph Structured Models for Video Understanding [93.72081456202672]
  リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。 本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-03-29T14:37:35Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Structured (De)composable Representations Trained with Neural Networks [21.198279941828112]
  テンプレート表現は、クラス全体の特性をキャプチャするジェネリック表現を指す。 提案手法は、エンドツーエンドのディープラーニングを用いて、入力画像と離散ラベルから構造化および構成可能な表現を学習する。 表現には明確な構造があることを証明し、表現をクラスや環境を表す因子に分解する。
  論文  参考訳（メタデータ） (2020-07-07T10:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。