写在最前面

Fianl Grade: A

如果你问过我除外的其他上过UCB这门课的学长学姐, 也许他们都会劝退你, 说这门课强度太高, 难度较高, 考核标准奇葩而死板等等. 但是既然我现在上了这门课, 你们也猜到了, 我当时是没有问过其他学长学姐关于这门课的评价的hhh. 但是这学期综合上下来, 我的感觉是: 这门课是一门非常好的课, 非常推荐上, 尤其是在这个人工智能领域追求短平快、追求‘拿来主义’的时代和现状下.

由于课程资料在UC Berkeley与CS182 staff team的版权保护之下, 因此网站中只公开了自己的笔记.

课程内容

这门课程的前四周是非常地狱的, 因为讲的是真真实实深度学习网络是如何训练、以及如何更好和更稳定地训练. 梯度下降, 优化器, 初始化, 正则化, 等等等等, 都在前四周中进行充分地讲解和推导. 没错, 推导. 课程中这一部分的讲解结合了大量的线性代数和概率论, 并且严谨地用数学推导来说明很多的结论或者是实质等价. 这一部分可以说是十分的宝贵, 因为当今人工智能领域人人追求分一杯羹的时代, 这种底层技术很少有人熟悉甚至在意了. 有的时候模型训爆掉了, 很可能是对着AI猛猛拷打一顿, 却实际上只是没把握住一些基础训练和网络设计等的基础细节.

Who's Adam?

之后就是对CNN, GNN, RNN, State Model, Transformer, Generative Model等基础模型进行尽可能全面的讲解. 这一部分压力就会小很多. 最后是llm pre&post-training相关的介绍, 介绍了很多up to date的LLM预训练或微调技巧.

总体来说课程设计的很好, 从基石开始讲起, 然后介绍基础而重要的模型, 再到最后介绍一些前沿的技术, 我认为设计的十分合理. 总的来说, 压力最大的是第一个月, 之后压力就并没有那么大.

考核方法

我是2025 fall的CS182, 授课教授为Sahai, 可能之后的考核方法会和下面的介绍有所出入

这门课为什么是一门''神''课? 因为这一门课的作业占比是0%而考试高达60%! 很多人会被这个劝退, 但是我个人感受下来, 如果作业也算分的话, 那么就真的可以不用上这门课了, 因为workload是地狱级的. 这门课的作业与其说是作业, 不如说是补充资料, 能够补充上课的数学推导和一些额外的结论. 老师建议同学们形成study group一起来完成作业, 但是我为了追求效率, 往往是对着发出来的答案solution进行学习. 总而言之, 作业是一份非常重要的学习资料, 学习方式怎么高效怎么来, 里面也不乏往年的考试真题.

期末考试有分数冗余设计: 如我的那一次考试, 满分222分, 但是满分线划为180. 注意考试无cheatsheet

课程还有一个project. Project分为几个大类, 要选择一个然后形成一个不超过四人的小组. Project的课程设计还是很好的, 有proposal阶段, Graduate Student Instructor的单独指导, 以及高度贴近现代人工智能会议的peer review and poster session, 可见老师的用心良苦. 老师强调, project的novelty并不是最重要的, substantial progress可大可小, 但是一定要complete, formal and rigorous in modern scientific research, 这里指的是科学实验的基本要求和流程一定要有, 例如hypothesis, experimental setting, reproducibility, rigorous experiment(如重复试验, 合理的实验设定, 合理的baselines等). 可见教授真心希望让我们能够体验高度模拟现代AI会议研究的氛围, 让我们能够锻炼基本的科研素养. 我很喜欢这样的课程设计. 你可以和身边的同学组队, 也可以和本地学生组队, 收获颇丰, 但是组队也是一门玄学, 有些同学依然是比较摆的, 即使这里是伯克利.

最后是课程的participation部分. 首先是discussion, 尽可能的参加, 并且注意这是discussion, 不是习题课, 因此session主旋律是和同学们与助教讨论一些题目. 其次是special participation部分, 需要edstem上发post并上传gradescope的那一种, 这种能participate尽量participate, 毕竟是能够确定拿分的项目.

最终就是这门课的另一大特点: 不curve, 凭实力上90就是A, 因此同学们可以联合起来一起, 互相学习一起进步, 而不再是一座座孤岛闭门造车. 我非常羡慕这样的考核安排, 某科好好看人家:) !