2023年3月13日
ChatGPT の基礎技術！GPT-3 と Few-shot learning
本記事はこんな方にオススメです
目次
ChatGPT 以後の展開
補足
- 学習データ量
- パラメータ数
- 学習方策
補足
- コストの所在が異なる
- 試行錯誤の対象が異なる
- Few-shot learning はプロンプトによって下流タスクに適応する
- プロンプトによる適応はパラメータ更新を必要としない
- ファインチューニングと Few-shot learning は、コストの所在、試行錯誤の対象が異なる
- Shin et al. (2020) Autoprompt: Eliciting knowledge from language models with automatically generated prompts
- Li et al. (2021) Prefix-tuning: Optimizing continuous prompts for generation
- Lester et al. (2021) The power of scale for parameter-efficient prompt tuning
- Few-shot leaning は少数の学習データによって下流タスクに適応する手法である
- ファインチューニングと異なり、Few-shot leaning は勾配計算・パラメータ更新を行わない
- プロンプトを人手で模索するのではなく、学習により最適化する研究が勢いを増している
参照文献リスト
.jpg&w=3840&q=75)
.png&w=3840&q=75)
SHARE
新着記事
関連記事
キカガクラーニング
AI/データサイエンス学びはじめの方におすすめの記事
コース一覧
注目記事
新着記事
