面试官问:SpringBoot中@Async默认线程池导致OOM如何解决?|调用|value|async|spring

SpookySwap中文网

  • 首页
  • Kadena 官网
  • 栏目分类
    Kadena 官网
    Kadena 官网
    你的位置:SpookySwap中文网 > Kadena 官网 > 面试官问:SpringBoot中@Async默认线程池导致OOM如何解决?|调用|value|async|spring
    面试官问:SpringBoot中@Async默认线程池导致OOM如何解决?|调用|value|async|spring
    发布日期:2025-01-04 16:10    点击次数:167
    内存溢出的三种类型:1.第一种OutOfMemoryError:PermGen space ,发生这种问题的原意是程序中使用了大量的jar或class。2.第二种OutOfMemoryError:Java heap space ,发生这种问题的原因是java虚拟机创建的对象太多。3.第三种OutOfMemoryError:unable to create new native thread ,创建线程数量太多,占用内存过大。初步分析:1.初步怀疑是线程创建太多导致,使用jstack 线程号 > /tmp/oom.log将应用的线程信息打印出来。查看oom.log,发现大量线程处于Runnable状态,基本可以确认是线程创建太多了。代码分析:1.出问题的微服务是日志写库服务,对比日志,锁定在writeLog方法上,wirteLog方法使用spring-@Async注解,写库操作采用的是异步写入方式。 2.之前没有对@Async注解深入研究过,只是知道可以自定义内部线程池,经查看,日志写库服务并未自定义异步配置,使用的是spring-@Async默认异步配置 3.首先简单百度了下,网上提到@Async默认异步配置使用的是SimpleAsyncTaskExecutor,该线程池默认来一个任务创建一个线程,在压测情况下,会有大量写库请求进入日志写库服务,这时就会不断创建大量线程,极有可能压爆服务器内存。借此机会也学习了下SimpleAsyncTaskExecutor源码,总结如下:1、SimpleAsyncTaskExecutor提供了限流机制,通过concurrencyLimit属性来控制开关,当concurrencyLimit>=0时开启限流机制,默认关闭限流机制即concurrencyLimit=-1,当关闭情况下,会不断创建新的线程来处理任务,核心代码如下:public void execute(Runnable task, long startTimeout) {Assert.notNull(task, "Runnable must not be null");Runnable taskToUse = (this.taskDecorator != null ? this.taskDecorator.decorate(task) : task);//判断是否开启限流机制if (isThrottleActive() && startTimeout > TIMEOUT_IMMEDIATE) {//执行前置操作,进行限流this.concurrencyThrottle.beforeAccess();//执行完线程任务,会执行后置操作concurrencyThrottle.afterAccess(),配合进行限流doExecute(new ConcurrencyThrottlingRunnable(taskToUse));else {doExecute(taskToUse);2、SimpleAsyncTaskExecutor限流实现:首先任务进来,会循环判断当前执行线程数是否超过concurrencyLimit,如果超了,则当前线程调用wait方法,释放monitor对象锁,进入等待状态。protected void beforeAccess() {if (this.concurrencyLimit == NO_CONCURRENCY) {throw new IllegalStateException("Currently no invocations allowed - concurrency limit set to NO_CONCURRENCY");if (this.concurrencyLimit > 0) {boolean debug = logger.isDebugEnabled();synchronized (this.monitor) {boolean interrupted = false;while (this.concurrencyCount >= this.concurrencyLimit) {if (interrupted) {throw new IllegalStateException("Thread was interrupted while waiting for invocation access, " +"but concurrency limit still does not allow for entering");if (debug) {logger.debug("Concurrency count " + this.concurrencyCount +" has reached limit " + this.concurrencyLimit + " - blocking");try {this.monitor.wait();catch (InterruptedException ex) {// Re-interrupt current thread, to allow other threads to react.Thread.currentThread().interrupt();interrupted = true;if (debug) {logger.debug("Entering throttle at concurrency count " + this.concurrencyCount);this.concurrencyCount++;线程任务执行完毕后,当前执行线程数会减一,会调用monitor对象的notify方法,唤醒等待状态下的线程,等待状态下的线程会竞争monitor锁,竞争到,会继续执行线程任务。protected void afterAccess() {if (this.concurrencyLimit >= 0) {synchronized (this.monitor) {this.concurrencyCount--;if (logger.isDebugEnabled()) {logger.debug("Returning from throttle at concurrency count " + this.concurrencyCount);this.monitor.notify();虽然看了源码了解了SimpleAsyncTaskExecutor有限流机制,实践出真知,我们还是测试下:一、测试未开启限流机制下,我们启动20个线程去调用异步方法,查看Java VisualVM工具如下:二、测试开启限流机制,开启限流机制的代码如下:@Configuration@EnableAsyncpublic class AsyncCommonConfig extends AsyncConfigurerSupport {@Overridepublic Executor getAsyncExecutor() {SimpleAsyncTaskExecutor executor = new SimpleAsyncTaskExecutor();//设置允许同时执行的线程数为10executor.setConcurrencyLimit(10);return executor;同样,我们启动20个线程去调用异步方法,查看Java VisualVM工具如下:通过上面验证可知: 1.开启限流情况下,能有效控制应用线程数 2.虽然可以有效控制线程数,但执行效率会降低,会出现主线程等待,线程竞争的情况。 3.限流机制适用于任务处理比较快的场景,对于应用处理时间比较慢的场景并不适用。==最终解决办法:1.自定义线程池,使用LinkedBlockingQueue阻塞队列来限定线程池的上限2.定义拒绝策略,如果队列满了,则拒绝处理该任务,打印日志,代码如下:public class AsyncConfig implements AsyncConfigurer{private Logger logger = LogManager.getLogger();@Value("${thread.pool.corePoolSize:10}")private int corePoolSize;@Value("${thread.pool.maxPoolSize:20}")private int maxPoolSize;@Value("${thread.pool.keepAliveSeconds:4}")private int keepAliveSeconds;@Value("${thread.pool.queueCapacity:512}")private int queueCapacity;@Overridepublic Executor getAsyncExecutor() {ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();executor.setCorePoolSize(corePoolSize);executor.setMaxPoolSize(maxPoolSize);executor.setKeepAliveSeconds(keepAliveSeconds);executor.setQueueCapacity(queueCapacity);executor.setRejectedExecutionHandler((Runnable r, ThreadPoolExecutor exe) -> {logger.warn("当前任务线程池队列已满.");});executor.initialize();return executor;}@Overridepublic AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {return new AsyncUncaughtExceptionHandler() {@Overridepublic void handleUncaughtException(Throwable ex , Method method , Object... params) {logger.error("线程池执行任务发生未知异常.", ex);}};}}作者:ignorewho blog.csdn.net/ignorewho/article/details/85603920公众号“Java精选”所发表内容注明来源的,版权归原出处所有(无法查证版权的或者未注明出处的均来自网络,系转载,转载的目的在于传递更多信息,版权属于原作者。如有侵权,请联系,笔者会第一时间删除处理!最近有很多人问,有没有读者交流群!加入方式很简单,公众号Java精选,回复“加群”,即可入群!(微信小程序):3000+道面试题,包含Java基础、并发、JVM、线程、MQ系列、Redis、Spring系列、Elasticsearch、Docker、K8s、Flink、Spark、架构设计等,在线随时刷题!特别推荐:专注分享最前沿的技术与资讯,为弯道超车做好准备及各种开源项目与高效率软件的公众号,「大咖笔记」,专注挖掘好东西,非常值得大家关注。点击下方公众号卡片关注。文章有帮助的话,点在看,转发吧!

    上一篇:欧米茄 内“芯”至臻
    下一篇:國立政治大學商學院經營管理碩士學程