目录

疑问

OpenAI为这15类关键任务,提供了哪些初始训练语料?

Llama在微调阶段数据假设远大于GPT-4,是否有可能表现比GTP-4更好?

想要实现视频简历,也就是建立通用岗位常模型,例如面试GoLang后端,需要哪些训练数据?要多少?

操作系统内核(大模型)

环境模型

认知模型

行动模型

1、语言翻译 2. 问答 3. 概要归纳 4. 情感分析 5. 文本补全 6. 会话式AI 7. 创意写作 8. 测试/分类任务 9. 代码生成与理解 10. 事实检查 11. 角色扮演 12. 阅读理解 13. 数据分析与解释 14. 数学问题解决 15. 伦理推理 AIGC创业需考虑任务是否能从这15个任务中迁移出来。如果你的任务在以上15个核心任务之外,你必须从所在领域和任务的原子定义上开始写复杂Prompt或者微调模型。

想要更深的理解这些任务如何在模型能力中迁移:推荐阅读以下几篇文章 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks https://arxiv.org/pdf/2004.10964.pdf An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models https://arxiv.org/pdf/1902.10547.pdf GPT3论文 https://arxiv.org/pdf/2005.14165.pdf

OpenAI组织结构深入探索(NPO)