Fugu-MT 論文翻訳(概要): A Taxonomy of Transcendence

論文の概要: A Taxonomy of Transcendence

arxiv url: http://arxiv.org/abs/2508.17669v1
Date: Mon, 25 Aug 2025 05:05:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-26 18:43:45.63914
Title: A Taxonomy of Transcendence
Title（参考訳）: 超越の分類
Authors: Natalie Abreu, Edwin Zhang, Eran Malach, Naomi Saphra,
Abstract要約: 制御された設定を使用して、トレーニングデータの特性を特定し、モデルがデータソースのパフォーマンスを超越する。次に、シミュレーション専門家が個々の専門知識に基づいてデータを生成する知識グラフベースの設定を導入する。
参考スコア（独自算出の注目度）: 26.78660458573198
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although language models are trained to mimic humans, the resulting systems display capabilities beyond the scope of any one person. To understand this phenomenon, we use a controlled setting to identify properties of the training data that lead a model to transcend the performance of its data sources. We build on previous work to outline three modes of transcendence, which we call skill denoising, skill selection, and skill generalization. We then introduce a knowledge graph-based setting in which simulated experts generate data based on their individual expertise. We highlight several aspects of data diversity that help to enable the model's transcendent capabilities. Additionally, our data generation setting offers a controlled testbed that we hope is valuable for future research in the area.
Abstract（参考訳）: 言語モデルは人間を模倣するように訓練されているが、結果として得られるシステムは、誰のスコープにも及ばない能力を示す。この現象を理解するために、我々は制御された設定を用いて、モデルがデータソースのパフォーマンスを超越する訓練データの特性を特定する。従来の作業に基づいて,スキルの認知,スキルの選択,スキルの一般化という,3つのモードのトランジェンスを概説しています。次に、シミュレーション専門家が個々の専門知識に基づいてデータを生成する知識グラフベースの設定を導入する。データ多様性のいくつかの側面を強調し、モデルの超越的な機能を実現するのに役立ちます。さらに、私たちのデータ生成設定は、この領域における将来の研究にとって価値のある、制御されたテストベッドを提供します。

関連論文リスト

UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
論文参考訳（メタデータ） (2025-08-27T00:56:11Z)
Transcendence: Generative Models Can Outperform The Experts That Train Them [55.885802048647655]
生成モデルがデータを生成する専門家の能力を超える能力を達成するとき、超越現象を研究する。我々は,自動回帰変換器をトレーニングして,ゲームスクリプティングからチェスを学習し,トレーニングされたモデルが,データセットのすべてのプレイヤーよりも優れたパフォーマンスが得られることを示す。
論文参考訳（メタデータ） (2024-06-17T17:00:52Z)
ORacle: Large Vision-Language Models for Knowledge-Guided Holistic OR Domain Modeling [41.30327565949726]
ORacleは、汎用ORドメインモデリング用に設計された高度な視覚言語モデルである。マルチビューとテンポラリな機能を備えており、推論中に外部の知識を活用でき、これまで見つからなかった手術シナリオに適応することができる。厳密なテスト、シーングラフ生成、および4D-ORデータセットの下流タスクでは、ORacleは最先端のパフォーマンスを示すだけでなく、既存のモデルよりも少ないデータを必要とする。
論文参考訳（メタデータ） (2024-04-10T14:24:10Z)
Capture the Flag: Uncovering Data Insights with Large Language Models [90.47038584812925]
本研究では,Large Language Models (LLMs) を用いてデータの洞察の発見を自動化する可能性について検討する。そこで本稿では,データセット内の意味的かつ関連する情報(フラグ)を識別する能力を測定するために,フラグを捕捉する原理に基づく新しい評価手法を提案する。
論文参考訳（メタデータ） (2023-12-21T14:20:06Z)
Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文参考訳（メタデータ） (2023-10-26T17:59:46Z)
StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。本研究は,各種データセットを対象とした総合的な実験を含む。
論文参考訳（メタデータ） (2023-08-20T12:43:52Z)
Towards A Unified Agent with Foundation Models [18.558328028366816]
強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
論文参考訳（メタデータ） (2023-07-18T22:37:30Z)
Data Quality in Imitation Learning [15.939363481618738]
ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
論文参考訳（メタデータ） (2023-06-04T18:48:32Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling [19.24454872492008]
弱監督は、基礎的な真理ラベルなしでラベル付きデータセットを作成するための有望な代替手段を提供する。本稿では,対話型弱監督のための最初のフレームワークを開発し,その手法が反復を提案し,ユーザフィードバックから学習する。私たちの実験は、非常に競争力のあるテストセット性能を達成するモデルのトレーニングに少数のフィードバックが必要であることを示しています。
論文参考訳（メタデータ） (2020-12-11T00:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。