主要在于数据和模型，only scale matters！。

1、对数据集进行EDA是什么？

1、对数据集进行EDA是什么？

• EDA是一种用于分析数据集以概括其主要特征的方法，通常使用统计图形和其它数据可视化方法，是理解和准备用于任何数据集分析或机器学习项目的关键步骤。
  阅读全文 »

经典的transformer架构如下图所示，分为编码器和解码器。构建模型的过程中，先构建通用的模块，如位置编码、多头自注意力、前馈神经网络层等，然后组建编码器和解码器，最后统一到一个模型中。

  尽管面临泡沫质疑，资金仍在涌向大模型。科技巨头正在为通往通用人工智能的基础设施添砖加瓦。英伟达创造算力硬件，微软、亚马逊与谷歌分发这些算力，四家公司的总市值从ChatGPT刚推出时的4万亿美元，迈向10万亿美元，成为推动美国股市上涨的主导力量。在风险投资市场，几乎只有人工智能相关初创企业才能享受到估值的提升。

  在估值不断上升中，人们开始担心，这一切是否能够持续。红杉资本年度演讲递出了“刀子”：去年企业投入500亿美元买的GPU，最终应用收回来30亿美元。

  暂时无法盈利的创新，甚至最终无法盈利的创新，算是一次泡沫吗？在创新最终盈利之前，市场必然需要迎来一次泡沫吗？这一切取决于我们是否把生成式AI的突破所代表的通用人工智能（AGI），看成是一次真正的技术革命。

1、什么是梯度消失和梯度爆炸？

• 梯度消失：在每次更新时，参数更新过小几乎不会移动，导致模型无法学习。
• 梯度爆炸：参数更新过大，破坏了模型的稳定收敛。
  阅读全文 »

  批量归一化(BatchNorm: BN)在搭建深度网络模型中是必不可少的一层，刚开始学习的时候还对其有所了解，后面渐渐的只会使用，已经忘记BN的真正作用和起作用的原理了。现在查找资料进行一个简单的梳理。

工作流是什么？

  每个不同的工作，不同的岗位工作模式都是不一样的，我理解的工作流可能就是对应项目的开发流程，在互联网企业的工作流中，包含产品规划与开发、运营与市场推广、技术支持与维护、商务合作与客户关系等。在传统工业领域，其工作流差异也不是很大。我先介绍下传统工业研发领域的工作流是什么样子的，然后再讨论吴恩达教授最近说到的AI智能体工作流是一种怎么样的情况。

原文：远川研究所

AI十年浮沉，与改变命运的大模型

　　  2019年，前谷歌CEO埃里克·施密特向白宫递交了一份颇为“诡谲”的报告。这份长达750页的文件，核心观点其实只有一句话：若美国再不加大投资，中国将彻底主导AI领域[1]。
　　施密特此举其实有“骗经费”之嫌：一年前，谷歌曾迫于舆论压力退出了一个政府AI项目，他一直对此耿耿于怀。但报告本身却并非胡诌。同年，美国数据创新中心也发布了一份报告，声称中国AI实力全球第二，且在数据等层面比美国更具优势[2]。

  每到年底，公司内部都会组织一个项目评审会议用来决定来年将要进行立项研发的产品项目。今年共有5个项目参与评审，我有其中一个。去年我也有一个项目参加评审，但由于我提前过年回家了，由领导代为评了，所以今年也是我第一次参加公司的评审会议。

PPT的写作技能，毋庸置疑是工作上很有用的技能。工作再努力，也要让人看到才可以。正所谓高调做事，低调做人。

闲话少说，我觉得以下几点PPT写作技巧以后可能会用到：

1. 站在你汇报对象的角度来考虑怎么写这个主题，找出听众真正在意的地方，突出描述。
2. 格式一定要整洁，例如 ：字体大小和格式要统一，单位之间要有空格 ， 表格大小和位置要统一，字体间距设置好。
3. ppt中图片可以多，但字不能太多，要尽可能说出来，而不是写出来，
4. 每页最好有一个小总结。
5. 配色尽量和谐，不要有太突兀的配色。