核心组件

• SqlSessionFactoryBuilder

  通过配置或代码生成SqlSessionFactory

  SqlSessionFactory = new SqlSessionFactoryBuilder().build()

• SqlSessionFactory

  使用工厂模式(不需知道内部如何实现，生成新的对象)，生成SqlSession对象

  SqlSession = SqlSessionFactory.openSession()

• SqlSession

  既可以发送SQL，也可以获取Mapper接口，还能控制数据库事务

• SQL Mapper

  由一个java接口和xml文件或注释构成的映射器，mybatis默认情况下提供自动映射，只要SQL返回的列名和POJO能够对应起来

生命周期

• SqlSessionFactoryBuilder

  创建完SqlSessionFactory就可以销毁了

• SqlSessionFactory

  其生命周期等同于mybatis的应用周期，一般作为单例被共享

• SqlSession

  存在业务请求中，处理完请求应释放资源

• Mapper

  小于等于SqlSession生命周期

常用配置

• cacheEnabled

  缓存全局开关，默认为开

• lazyLoadingEnabled

  延迟加载的全局开关，默认为false

  延迟加载:先从单表查询、需要时再从关联表去关联查询，大大提高数据库性能，因为查询单表要比关联查询多张表速度要快

• aggressiveLazyLoading

  默认false

  分页

1
2

//在dao层添加一个参数
List<Role> findRole(Role role, RowBounds rowBounds);

缓存

• 二级缓存是范围在mapper （需要手动开启）
• 一级缓存是范围在sqlsession （默认开启）

目标

爬取cosplay图片

FilesPipeline

作用

用于下载文件的特殊下载器

今天在我哥的项目中发现有一张页面中引用了echarts.js，有点好奇去查了下，原来是前端可视化，觉得很有趣，去查看了官方文档，它的在线制图真的棒

想试试mybatis逆向工程来生成简单sql语句，mybatis-generator真是帮了大忙

项目

快速生成一个Springboot项目

最近学习Scrapy发现要使用正则表达式，所以去菜鸟学习一波

目的

在http://books.toscrape.com/爬取书本的信息：

• 书名
• 价格
• 评价等级
• 产品编码
• 库存量
• 评价数量

负责导出数据的组件称为Exporter(导出器)，Scrapy内部导出器为：

1
2
3
4
5
6
7
8
9

{ 
    'json' ： 'scrapy.exporters.JsonItemExporter' ，
    'jsonlines' ： 'scrapy.exporters.JsonLinesItemExporter' ，
    'jl' ： 'scrapy.exporters.JsonLinesItemExporter' ，
    'csv' ： 'scrapy.exporters.CsvItemExporter' ，
    ' xml' ： 'scrapy.exporters.XmlItemExporter' ，
    'marshal' ： 'scrapy.exporters.MarshalItemExporter' ，
    'pickle' ： 'scrapy.exporters.PickleItemExporter' ，
}

目的

提取网站链接

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 修改book_spider.py代码
class BooksSpider(scrapy.Spider):
	..........
	def parse(self, response):
		........
# 创建一个LinkExtractor对象，在restrict_css参数中传递一个css选择器表达式
		le = LinkExtractor(restrict_css='ul.pager li.next')
# 该方法依据创建对象时所描述的提取规则，在Response对象所包含的
# 页面中提取链接，最终返回一个列表，其中每一个元素都是一个Link对象
		links = le.extract_links(response)
		if links:
    # 因为页面中只有一个下一页链接，因此用link[0]获取Link对象，该对象的url属性便是链接页面的绝对url
    		next_url = links[0].url
    		yield scrapy.Request(next_url, callback=self.parse)

1
2
3
4
5

# LxmlLinkExtractor构造器
def __init__(self, allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths=(),
                 tags=('a', 'area'), attrs=('href',), canonicalize=False,
                 unique=True, process_value=None, deny_extensions=None, restrict_css=(),
                 strip=True):