在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。
del model, tokenizer, pipe
import torch
torch.cuda.empty_cache()分享说明：转发分享请注明出处。
2025-06-20 19:58:12
星期五
立足国科融媒，服务先进科技
