大螃嗨

本页面只读。您可以查看源文件，但不能更改它。如果您觉得这是系统错误，请联系管理员。
====== 疑问 ======
=== OpenAI为这15类关键任务，提供了哪些初始训练语料？=== 
=== Llama在微调阶段数据假设远大于GPT-4，是否有可能表现比GTP-4更好？===
=== 想要实现视频简历，也就是建立通用岗位常模型，例如面试GoLang后端，需要哪些训练数据？要多少？ ===

  * Encoder
  * Decoder
  * 边缘计算
  * AIGC
  * AIGD
  * Agent（智能体）
  * Transformer
  * 张量
  * [[涌现|涌现]]
  * 无监督学习
  * 预训练（GPT1）迁移（GPT2）泛化（GPT3）
  * 模型稀疏化
  * 模型注意力宽度
  * 算力
  * [[embedding|embedding]]
  * [[GPT-3|GPT-3]]


====== 操作系统内核(大模型) ======
===== 环境模型 =====
===== 认知模型 =====
===== 行动模型 =====


1、语言翻译
2. 问答 
3. 概要归纳 
4. 情感分析 
5. 文本补全 
6. 会话式AI 
7. 创意写作 
8. 测试/分类任务 
9. 代码生成与理解 
10. 事实检查 
11. 角色扮演 
12. 阅读理解 
13. 数据分析与解释 
14. 数学问题解决 
15. 伦理推理
AIGC创业需考虑任务是否能从这15个任务中迁移出来。如果你的任务在以上15个核心任务之外，你必须从所在领域和任务的原子定义上开始写复杂Prompt或者微调模型。

想要更深的理解这些任务如何在模型能力中迁移：推荐阅读以下几篇文章
Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
https://arxiv.org/pdf/2004.10964.pdf
An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models
https://arxiv.org/pdf/1902.10547.pdf
GPT3论文
https://arxiv.org/pdf/2005.14165.pdf


=== OpenAI组织结构深入探索(NPO) ===