Zhao Dongyu's Blog

学习C++

其实最近心思一直在把之前的推理框架的工作能够沉淀一下发一篇论文，今天丁大佬教育我不要闭门造车，不要局限于推理框架，多看看别人的工程学习学习,学学triton、TVM、mlc-llm这些东西。很受用。

听人劝，吃饱饭。开始学习 triton

研究了一下 tensorflow 实现 int8 量化的 softmax 算子

扎实基础，系统学习。

学习研究文生视频

近期在Mac M1上使用tensorflow，发现不能用了。报错：

The TensorFlow library was compiled to use AVX instructions, but these aren't available on your machine.

做一些在树莓派zero w 上面的实验，这里记录一下整体流程。

在 Hopper H20 平台优化 FlashMLA。

在 Hopper H20 平台优化 FlashMLA。

“`torch.compile“` speeds the flame,
Trade-offs linger, but worth the game.
Train or infer, it cuts the line,
With care and craft, its power’s thine.