論文の概要: onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction

• arxiv url: http://arxiv.org/abs/2609.24983v1
• Date: Mon, 21 Sep 2026 17:56:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.458126
• Title: onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
• Title（参考訳）: OnPanda:Token-Level CorrectionによるLLMおよびエージェントのオンラインアライメントデータの効率的なアノテーション
• Abstract要約: onPandaは、LLMアライメントデータとエージェントトラジェクトリを効率的にアノテートするためのインタラクティブツールである。 アノテーションは最初の不適切なトークンを特定し、モデルの候補トークンから代用を選択するか、正しいテキストをタイプする。 最終応答におけるほとんどのトークンはモデル自身によって生成されるので、結果として得られたデータはモデルのサンプリング分布をほとんど保存する。
• 参考スコア（独自算出の注目度）: 56.00774162165715
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We present onPanda, an interactive tool for efficiently annotating LLM alignment data and agent trajectories. onPanda adopts token-level correction as its core interaction: while reading a model response, the annotator locates the first inappropriate token and either picks a substitute from the model's candidate tokens or types the correct text via free-form editing. The system then truncates everything after that position and continues generation from the corrected prefix, repeating this locate-correct-continue loop until a satisfactory response is obtained. This mechanism lets annotators precisely steer model outputs at low cost: a small controlled study suggests that onPanda reduces median annotation time by 52% over manual post-editing. Since the vast majority of tokens in the final response are generated by the model itself, the resulting data largely preserves the model's sampling distribution and is well suited for constructing on-policy SFT and preference data. Furthermore, the token-level corrections recorded during annotation provide fine-grained supervision with precise positions and naturally paired positive--negative samples. onPanda also connects to external tools and harnesses, enabling interactive trajectory annotation in realistic environments. In addition, we release Panda-CVL, a dataset annotated with onPanda, together with a benchmark for token-level correction.
• Abstract（参考訳）: 我々は,LLMアライメントデータとエージェントトラジェクトリを効率的にアノテートする対話型ツールであるonPandaについて述べる。 モデル応答を読みながら、アノテータは最初の不適切なトークンを見つけ、モデルの候補トークンから置換子を選択するか、自由形式の編集によって正しいテキストをタイプする。 その後、システムは、その位置の後に全てを切断し、修正されたプレフィックスから生成を継続し、満足な応答が得られるまで、この位置修正連続ループを繰り返す。 小さな制御された研究によると、onPandaは手作業による後編集よりも中央値のアノテーション時間を52%削減している。 最終応答におけるほとんどのトークンはモデル自身によって生成されるので、結果として得られたデータはモデルのサンプリング分布をほとんど保存し、オンラインのSFTと嗜好データを構築するのに適している。 さらに、アノテーション中に記録されたトークンレベルの補正は、精密な位置と自然対の正負のサンプルによるきめ細かい監督を提供する。 onPandaは外部ツールやハーネスとも接続し、現実的な環境でインタラクティブなトラジェクトリアノテーションを可能にする。 さらに、オンパンダに注釈を付けたデータセットであるPanda-CVLとトークンレベルの修正のためのベンチマークをリリースする。

関連論文リスト

• Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation [2.733105115068754]
  反復モデルの再トレーニングなしにShapley値を近似する,スケーラブルで推論のみのデータアベイラビリティパイプラインを導入する。 重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2026-07-24T03:31:44Z)
• Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
  CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
  論文  参考訳（メタデータ） (2025-06-06T13:02:59Z)
• Gradient Alignment with Prototype Feature for Fully Test-time Adaptation [39.92998915287622]
  GAP(Gradient Alignment with Prototype Feature)と呼ばれる正規化器を提案する。 GAPは、誤分類された擬似ラベルのエントロピー最小化損失から不適切なガイダンスを緩和する。 我々はGAPが様々なデータセットにわたるTTA手法を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-02-14T08:17:21Z)
• Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
  本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。 本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。 このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
  論文  参考訳（メタデータ） (2024-02-06T14:04:31Z)
• Exploiting Counter-Examples for Active Learning with Partial labels [45.665996618836516]
  本稿では, 部分ラベルを用いたemphactive learning(ALPL)の新たな課題について検討する。 この設定では、オラクルはクエリサンプルに部分的なラベルを付加し、必要な正確なラベル付けプロセスからオラクルを緩和する。 我々は,このパターンを直接学習するために,シンプルだが効果的なWorseNetを提案する。
  論文  参考訳（メタデータ） (2023-07-14T15:41:53Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。