deeplearning.ai 炼金术课程体验

       大概大四上学期就开始有一搭没一搭地上吴老师的另一门很火的 Coursera 课程 Machine Learning,可惜到现在都没有上完… 主要因为作业要求用Matlab,对这种又不开源又没有实际运行作用的编程语言没什么兴趣;而只看视频不写作业会让我觉得没什么效果,便一拖再拖… 这回作业都是python写的,深合我意。不妨绕过那“初级老套”的机器学习,直接上手这“炼金术”得了。

       deeplearning.ai 出的这个专项课程如果想写作业拿分数的话学费是一个月50刀。这不是个小数字,比leetcode还贵个十几。迪奥丝如我本盘算着一个月上完专项的所有五门课程,这样一门课十块钱还算便宜。但是前天上完第四门课后才发现最后一门RNN还没有出!现在知道了是1月29号上线,可我的订阅是从12月29号开始的。便觉有些坑人:课还没准备好干啥网站上五门课都放着也没有任何标注?既然说到不好的地方就再吐个槽:有几门课的剪辑不忍直视。大概是CNN和Structuring ML Projects,很多话他会重复地讲,多是前一句讲错一点后一句更正,有时候还会重复个两三遍… 一开始我以为网络有问题或者我出现了幻觉… 多次之后才发现是剪辑问题…

       除此之外体验都是很好的。虽然主要是针对工业界从业者的课程,理论比较浅,实践技巧很多,但一些诸如反向传播、向量化输入的细节也都包括了,让我对神经网络的具体实现了解得更为透彻。

       第一门Neural Networks and Deep Learning介绍了基本的神经网络概念。从logistic regression入手(可以看作是一个最小的神经网络),引出cost function, gradient descent, 再到多个神经元构成一个shallow network(一个隐层),然后讲到vectorization以及对神经网络作gradient descent,然后到更深的多层网络的forward/backward propagation. 过渡非常自然,连接非常顺畅。而且这些知识点多会在作业中用python/numpy手动实现,对于理解细节帮助很大。

       第二门Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization则开始从理论引入实践。介绍了如何分配数据集来验证模型的正确性、regularization(L1, L2, dropout)控制overfitting、 gradient checking、优化算法的实现细节(gradient descent,RMSprop, Adam, etc.)、batch normalization、调参黑科技等。其中像为什么要随机地初始化网络权值(如果权值都是0的话最后一层所有的神经元输出都会是相同的,没有用处), gradient checking, exponentially weighted average 都是我之前闻所未闻的新知识,而对优化算法的细节介绍则让之前只会用一行optimizer = Adam而其余完全不管的本菜鸡真正知道了黑箱里都在进行什么操作。

       第三门Structuring Machine Learning Projects是介绍一些做项目的小技巧,比如手动检查验证集(吴老师的dev set)中出错的样例来判断模型到底是哪个地方有问题,下一步该重点调整什么;以及如果训练集和验证/测试集的数据分布不同(data mismatch)怎么办(吴老师提出解决方案之一是从训练集里分出一部分作为training-dev set,然后比较模型在这个集合的表现以及在dev set的表现,综合考量表现不好到底是模型的variance太大还是因为data mismatch)

       第四门CNN包含了detection, face recognition, neural style transfer(这部分看得不是很认真)的详细介绍,也在作业里手把手教会用Tensorflow实现如YOLO,ResNet一类比较热门的模型。

       上课的过程中我产生以下感想:1. 线性代数(矩阵)好厉害。这炼金术不就是调出一个或几个巨大无比的矩阵(包含非线性量)吗?而它竟能如此出色地、自动地抓捕问题的许多特征 2. 炼金术的非常重要的一部分是(非凸函数的)优化算法,谁在这部分做得好谁能抢夺炼金至纯至高地 3. 那些认为“炼金术”一点儿科学也没有的人们,大概只有vectorized的输入,一次性给出确定解 (即normal equation解法)才会让他们觉得这不是伪科学吧?但是“上帝是掷骰子”的,这金也肯定会继续被人们炼下去。

       秀一下证书 😄

results

comments powered by Disqus