网站技术

网站技术

16G显卡调大模型?显存消耗三大原因揭秘

16G显卡也能调大模型?先搞懂显存消耗的3大核心原因 (一)引言:为什么显存是大模型微调的“拦路虎”? 大家好,我是七七,看到经常有网友:“博主,我用16G显卡微调7B模型,一跑就报OOM(显存溢...

校园网不同子网怎么让LocalSend互通?

各位好久不见~下半年又是忙论文又是忙项目的,实在是没什么时间更新笔记了。趁着今天有点空闲,咱来写写最近抽空解决的一个小网络问题叭(゜ー゜)。 0. 问题背景 咱实验室有一台连接着打印机的计算机,我...

滑动窗口最大值的三种高效实现方法

题⽬描述 给定⼀个数组和滑动窗⼝的⼤⼩,找出所有滑动窗⼝⾥数值的最⼤值。例如,如果输⼊数组 {2,3,4,2,6,2,5,1} 及滑动窗⼝的⼤⼩ 3 ,那么⼀共存在 6 个滑动窗⼝,他们的最⼤值分...

显存溢出?16G显卡也能微调大模型

16G显卡也能调大模型?先搞懂显存消耗的3大核心原因 (一)引言:为什么显存是大模型微调的“拦路虎”? 大家好,我是七七,看到经常有网友:“博主,我用16G显卡微调7B模型,一跑就报OOM(显存溢...

微调+RAG如何提升大模型效果?实战技巧揭秘

微调 + RAG 组合方案:1+1>2 的大模型应用技巧 微调 + RAG 互补发力,解锁大模型 1+1>2 效果 大家好,我是七七!上个月帮一家连锁药店做智能客服项目,一开始踩了个大坑:只用微调...