发表于 | 分类于

了解Scrapy框架常用组件

  • ENGINE:引擎，框架核心，协同各个组件
  • SCHEDULER:调度器，调度SPIDER提交的下载请求，按某种算法使Request对象排队
  • DOWNLOADER:下载器，负责下载页面(发送HTTP Request/接收 HTTP Response)
  • SPIDER:爬虫，用户实现，实现爬虫逻辑
  • MIDDLEWARE（可选）:负责对Request和Response进行处理
  • ITEM PIPELINE（可选）:数据管道，负责对爬取到的数据进行处理
阅读全文 »

发表于 | 分类于

基础语法

Python3 默认使用UTF-8编码

程序入口

python的程序入口为if __name__ == '__main__':类似于c的main()函数，注意，当其是被作为包倒入时if __name__ == '__main__':中的方法是不会执行的

关键字

1
2
3
4
['False', 'None', 'True', 'and', 'as', 'assert', 'break', 'class', 'continue', 
'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 
'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise',
 'return', 'try', 'while', 'with', 'yield']
阅读全文 »

发表于 | 分类于

基础命令

  • nginx -s stop - 快速关机(不管有没有正在处理的请求,Nginx退出)
  • nginx -s quit - 优雅的关机(Nginx在退出前完成已经接受的连接请求)
  • nginx -s reload - 重新加载配置文件
  • nginx -s reopen - 重新打开日志文件
  • ps -ef | grep nginx - 获取所有正在运行的nginx进程的列表
  • nginx -t - 不运行，而仅仅测试配置文件。nginx 将检查配置文件的语法的正确性，并尝试打开配置文件中所引用到的文件。
  • nginx -c </path/to/config> 为 Nginx 指定一个配置文件，来代替缺省的
阅读全文 »

发表于 | 分类于
  • 首先定义一个约束注解
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
/**
 * @Target 表示注解可出现在哪些地方(这里是方法, 字段, 注解)
 * @Retention 表示该注解的保存范围是哪里, RUNTIME表示在源码(source)、编译好的.class文件中保留信息，在执行的时候会把这一些信息加载到JVM中去
 * @Constraint 表示哪个验证器提供验证
 * @Documented 表明这个注解应该被 javadoc工具记录
 * @interface 表明这是一个注解
 */
@Target({ElementType.METHOD, ElementType.FIELD, ElementType.ANNOTATION_TYPE})
@Retention(RetentionPolicy.RUNTIME)
@Constraint(validatedBy = JSRDemo.class)
@Documented
public @interface Matches {
    String message();

    Class<?>[] groups() default {};

    Class<? extends Payload>[] payload() default {};

    int min();
    int max();
}
阅读全文 »

发表于 | 分类于

前言

一直对cookie和session分不清作用，特意看了几篇博客，想写一写总结

二者区别

Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份

如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么Session机制就是通过检查服务器上的“客户明细表”来确认客户身份

阅读全文 »

发表于 | 分类于

目的

使用@ControllerAdvice和@ExceptionHandler来实现将Controller层的异常和数据校验的异常进行统一处理

实例

1
2
3
4
5
6
7
8
9
10
//对controller进行增强
@ControllerAdvice
public class ExceptionJson {
    //全局处理Exception 及其子类的异常
    //如果 @ExceptionHandler 注解中未声明要处理的异常类型，则默认为参数列表中的异常类型，这里为Exception
    @ExceptionHandler
    public ResponseEntity<Object> err(Exception ex) {
        return new ResponseEntity<Object>(ex.getMessage(), HttpStatus.OK);
    }
}
0%