Mybatis如何实现一个高效的批量插入操作呢?

Java-框架王 MyBatis 发布时间:2021-07-30 09:08:34 阅读数:13284 1
下文是笔者收集的MyBatis高效插入数据的示例分享,请大家参阅

MyBatis简介

我们都知道MyBatis是目前市面上使用比较多的一个持久层框架(SSM中的M),
MyBatis可以简化实体类的封装操作,MyBatis通过mapper.xml文件可实现数据库各中操作,详细请见Mybatis教程
那么MyBatis如何实现批量插入数据操作呢?下文将讲述具体的实现思路,如下所示:

方式一:使用MyBatis中的 foreach标签

借助foreach,在sql语句中实现一个迭代集合,
foreach标签拥有一下属性(item,index,collection,open,separator,close)
item:集合中每一个元素进行迭代时的别名
index:设置名称,用于表示在迭代过程中,每次迭代到的位置
open:设置语句开始符
separator:设置每次进行迭代之间使用的分隔符
close:设置迭代的结束符号
注意事项:
   必须指定collection属性,此属性可放入list,array,Map
例:
*Mapper.xml的定义如下:
<insert id="insertBatch" parameterType="List">
INSERT INTO users(name,pwd)
<foreach collection="list" item="item" index="index" open="("close=")"separator="union all">
SELECT #{item.name} as a, #{item.pwd} as b FROM DUAL
</foreach>
</insert>

方式二:使用mybatis ExecutorType.BATCH

Mybatis中内置了3种ExecutorType有3种:
  1. simple,此模式下它为每个语句的执行创建一个新的预处理语句,单条提交sql
  2. REUSE,此模式是可重用执行器,重用对象是Statement(即该执行器会缓存同一个sql的Statement,省去Statement的重新创建,优化性能)(即会重用预处理语句)
  3. batch,此模式重复使用已经预处理的语句,并且批量执行所有更新语句,显然batch性能将更优
注意事项:
  Batch模式是最快捷的一张方式,但是需用户自定义主键
当然Hibernate中也有类似Batch的处理方式
例:

方式一 spring+mybatis 的

//获取 sqlsession
//注入原有的sqlSessionTemplate
@Autowired
private SqlSessionTemplate sqlSessionTemplate;

// 新获取一个模式为BATCH,并自动提交为false的session
// 当自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出(注意控制提交数量,如达到1000条提交一次)

SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH,false);
//通过新的session获取mapper
userMapper = session.getMapper(UserMapper.class);
int size = 10000;
try{
for(int i = 0; i < size; i++) {
     
     //生成实体类
     User user = new User();
     user.setName(String.valueOf(System.currentTimeMillis()));

     userMapper.insert(user);
     
     if(i % 1000 == 0 || i == size - 1) { 
        //手动每1000个一提交,提交后无法回滚 
        session.commit();
       //清理缓存,防止溢出
       session.clearCache();
      }
    }
} catch (Exception e) {
    //没有提交的数据可以回滚
    session.rollback();
} finally{
    session.close();
}


/*
使用mapper及sql别名:包名+类名
*/
 
public void insertBatch(Map<String,Object> paramMap, List<User> list) throws Exception {
// 新获取一个模式为BATCH,自动提交为false的session
// 如果自动提交设置为true,将无法控制提交的条数,改为最后统一提交,可能导致内存溢出
SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
try {
if(null != list || list.size()>0){
int lsize=list.size();
for (int i = 0, n=list.size(); i < n; i++) {


User user= list.get(i);
user.setIndate((String)paramMap.get("indate"));
user.setDatadate((String)paramMap.get("dataDate"));//数据归属时间 

session.insert(“包名+类名", user);

if ((i>0 && i % 1000 == 0) || i == lsize - 1) {
    //if语句的作用设置每1000个一提交,提交后无法回滚
    session.commit();
    // 清理缓存,防止溢出
    session.clearCache();
   }
  }
}
} catch (Exception e) {
  // 没有提交的数据可以回滚
    session.rollback();
e.printStackTrace();
  } finally {
    session.close();
  }
}
 

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

本文链接: https://www.Java265.com/JavaFramework/MyBatis/202107/597.html

最近发表

热门文章

好文推荐

Java265.com

https://www.java265.com

站长统计|粤ICP备14097017号-3

Powered By Java265.com信息维护小组

使用手机扫描二维码

关注我们看更多资讯

java爱好者