php使用Linux命令导出MySQL数据到csv

发表于 2020-01-19

PS :使用这个导出功能需要的条件：
1–服务器需要安装mysql客户端：yum install mysql
2–php需要开启exec函数(disable_functions exec)

MySQL_OUTFILE导出数据

发表于 2020-01-19

PS : mysql 需要开启grant FILE on . to newerp; 权限

/**
 * @FILE_NAME:ExcelExport.php
 * @Description 数据导出excel,从数据库导出再下载，数据库配置
 * [mysqld]
 * secure_file_priv= ''
 * @User ZHaoGuiBin
 * @Date 2019-12-04 13:52:58
 */

class ExcelExport
{

    /**
     * @FuncName:exportExcel
     * @Description
     * @User ZHaoGuiBin
     * @Date 2019-12-24 13:42:11
     * @param string $title
     * @param $sql
     * @param $data
     * @return bool
     */
    public static function exportExcel($title = '报表导出', $sql, $data)
    {

        $data_dir = getcwd() . "/data_export/";
        $sys = new SysModel();
        $db = $sys->getAdapter();

        //删除历史表格
        self::deleteExcel();

        if (!file_exists($data_dir) || !is_writable($data_dir)) {
            if (!@mkdir($data_dir, 0755, TRUE)) {
                Tools::dieJs("alert('导出失败，请联系管理员处理');history.go(-1);");
            }
        }

        $file_name = $title . time() . ".csv";
        $file_path = $data_dir . $file_name;

        //拼接sql
        $convert_fields = "";
        $title_fields = "";
        $fields = '';
        $temp_key = 0;
        $fields_count = count($data);
        foreach ($data as $key => $field) {
            $temp_key += 1;
            $convert_fields .= "ifnull(CONVERT (( `{$key}` ) USING gb2312 ),'')" . ($temp_key < $fields_count ? ',' : '');
            $title_fields .= "'{$key}'" . ($temp_key < $fields_count ? ',' : '');
            $fields .= "`{$field}`" . ($temp_key < $fields_count ? ',' : '');
        }

        $sql_str = "SELECT {$convert_fields} INTO OUTFILE '{$file_path}' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' LINES TERMINATED BY '\n'
        FROM ( SELECT {$title_fields} UNION SELECT {$fields} FROM ({$sql}) as t ) temp";

        $db->query($sql_str);

        self::downloadExcel($file_path, $file_name);

        return true;
    }

    /**
     * @FuncName:downloadExcel
     * @Description
     * @User ZHaoGuiBin
     * @Date 2019-12-24 14:25:10
     * @param $file_path 文件地址
     * @param $file_name 文件名称
     * @return void
     */
    public static function downloadExcel($file_path, $file_name)
    {
        ob_end_clean();

        if (!file_exists($file_path)) {
            Tools::dieJs("alert('文件不存在，请联系管理员处理');history.go(-1);");
        }

        $fp = fopen($file_path, "r");
        $file_size = filesize($file_path);

        //下载文件需要用到的头
        header("Content-type:text/html;charset=utf-8");
        Header("Content-type: application/octet-stream");
        Header("Accept-Ranges: bytes");
        Header("Accept-Length:" . $file_size);
        Header("Content-Disposition: attachment; filename=" . $file_name);
        $buffer = 1024;
        $file_count = 0;

        while (!feof($fp) && $file_count < $file_size) {
            $file_con = fread($fp, $buffer);
            $file_count += $buffer;
            echo $file_con;
        }
        fclose($fp);
    }

    /**
     * @FuncName:deleteExcel
     * @Description 删除没用的表格
     * @User ZHaoGuiBin
     * @Date 2019-12-24 15:05:01
     * @return bool
     */
    public static function deleteExcel()
    {

        //几分钟前的时间戳
        $delete_time = strtotime("-5 minute");

        $data_dir = getcwd() . "/data_export/*.csv";
        $data_dir = glob($data_dir);

        if (empty($data_dir)) {
            return true;
        }

        foreach ($data_dir as $key => $file_path) {
            $temp_time = self::findNum($file_path);
            if ($temp_time < $delete_time) {
                unlink($file_path);
            }
        }

        return true;
    }

    /**
     * @FuncName:findNum
     * @Description
     * @User ZHaoGuiBin
     * @Date 2019-12-24 14:54:11
     * @param string $str
     * @return string
     */
    public static function findNum($str = '')
    {
        $str = trim($str);
        if (empty($str)) {
            return '';
        }
        $temp = array('1', '2', '3', '4', '5', '6', '7', '8', '9', '0');
        $result = '';
        for ($i = 0; $i < strlen($str); $i++) {
            if (in_array($str[$i], $temp)) {
                $result .= $str[$i];
            }
        }
        return $result;
    }


}

PHP导出数据报表

发表于 2020-01-19

/**
 * @FILE_NAME:ExcelExport.php
 * @Description csv导出数据
 * @User ZHaoGuiBin
 * @Date 2019-12-04 13:52:58
 */

class ExcelExport
{
    /**
     * @FuncName:sqlQuery
     * @Description 生成器模式返回数据
     * @User ZHaoGuiBin
     * @Date 2020-01-08 16:43
     * @param $sql
     * @return Generator
     */
    public static function sqlQuery($sql)
    {
        $sys = new SysModel();
        $db = $sys->getAdapter();

        foreach ($db->fetchAll($sql) as $key => $val) {
            yield $val; //生成器返回数据，避免内存溢出
        }
    }


    /**
     * @FuncName:exportExcel
     * @Description
     * @User ZHaoGuiBin
     * @Date 2020-01-09 09:23
     * @param string $title
     * @param string $sql
     * @param array $data example : ["单号" => 'order_key'],['报表title名称'=>'mysql语句字段名']
     * @return bool
     */
    public static function exportExcel($title = '报表导出', $sql = '', $data = [])
    {

        $data_dir = getcwd() . "/data_export/";

        //删除历史表格
        self::deleteExcel();

        if (!file_exists($data_dir) || !is_writable($data_dir)) {
            if (!@mkdir($data_dir, 0755, TRUE)) {
                Tools::dieJs("alert('导出失败，请联系管理员处理');history.go(-1);");
            }
        }

        $file_name = $title . time() . ".csv";
        $file_path = $data_dir . $file_name;

        //拼接sql
        $fields = '';
        $title_fields = [];
        $temp_key = 0;
        $fields_count = count($data);
        foreach ($data as $key => $field) {
            $temp_key += 1;
            $fields .= "ifnull({$field},'') as {$field}" . ($temp_key < $fields_count ? ',' : '');
            array_push($title_fields, $key);
        }

        $fp = fopen($file_path, 'w'); //生成临时文件
        fwrite($fp, chr(0xEF) . chr(0xBB) . chr(0xBF));//转码,防止乱码
        fputcsv($fp, $title_fields);//插入标题
        foreach (self::sqlQuery("SELECT {$fields} FROM ({$sql}) as t") as $key => $value) {
            fputcsv($fp, $value);
        }

        fclose($fp);

        self::downloadExcel($file_path, $file_name);

        return true;
    }

    /**
     * @FuncName:downloadExcel
     * @Description
     * @User ZHaoGuiBin
     * @Date 2020-01-08 16:46
     * @param string $file_path
     * @param string $file_name
     * @return void
     */
    public static function downloadExcel($file_path = '', $file_name = '')
    {
        ob_end_clean();

        if (!file_exists($file_path)) {
            Tools::dieJs("alert('文件不存在，请联系管理员处理');history.go(-1);");
        }

        $fp = fopen($file_path, "r");
        $file_size = filesize($file_path);

        //下载文件需要用到的头
        header("Content-type:text/html;charset=utf-8");
        Header("Content-type: application/octet-stream");
        Header("Accept-Ranges: bytes");
        Header("Accept-Length:" . $file_size);
        Header("Content-Disposition: attachment; filename=" . $file_name);
        $buffer = 1024;
        $file_count = 0;

        while (!feof($fp) && $file_count < $file_size) {
            $file_con = fread($fp, $buffer);
            $file_count += $buffer;
            echo $file_con;
        }
        fclose($fp);
    }

    /**
     * @FuncName:deleteExcel
     * @Description 删除没用的表格
     * @User ZHaoGuiBin
     * @Date 2019-12-24 15:05:01
     * @return bool
     */
    public static function deleteExcel()
    {

        //几分钟前的时间戳
        $delete_time = strtotime("-5 minute");

        $data_dir = getcwd() . "/data_export/*.csv";
        $data_dir = glob($data_dir);

        if (empty($data_dir)) {
            return true;
        }

        foreach ($data_dir as $key => $file_path) {
            $temp_time = self::findNum($file_path);
            if ($temp_time < $delete_time) {
                unlink($file_path);
            }
        }

        return true;
    }

    /**
     * @FuncName:findNum
     * @Description
     * @User ZHaoGuiBin
     * @Date 2019-12-24 14:54:11
     * @param string $str
     * @return string
     */
    public static function findNum($str = '')
    {
        $str = trim($str);
        if (empty($str)) {
            return '';
        }
        $temp = array('1', '2', '3', '4', '5', '6', '7', '8', '9', '0');
        $result = '';
        for ($i = 0; $i < strlen($str); $i++) {
            if (in_array($str[$i], $temp)) {
                $result .= $str[$i];
            }
        }
        return $result;
    }


}

virtualbox安装增强功能报错

发表于 2019-03-02

报错信息

阅读全文 »

golang两个线程交替打印1-100的奇数偶数

发表于 2019-01-31

启动两个线程, 一个输出 1,3,5,7…99, 另一个输出 2,4,6,8…100 最后 STDOUT 中按序输出 1,2,3,4,5…100

package main

import (
	"fmt"
	"time"
)

var pool = 100

//奇数
func oddNum(c chan int) {
	for i := 1; i <= pool; i++ {
		c <- i
		if i%2 == 1 {
			fmt.Println(i)
		}
	}
}

//偶数
func even(c chan int) {
	for i := 1; i <= pool; i++ {
		<-c
		if i%2 == 0 {
			fmt.Println(i)
		}
	}
}

func main() {

	c := make(chan int)

	go oddNum(c)
	go even(c)

	time.Sleep(time.Second * 1)

}

golang抓取知乎图片

发表于 2019-01-26

代码github地址

https://github.com/zhaoguibin/zhihu_pic

需要安装 gjson

阅读全文 »

Virtualbox 共享文件夹 cannot create symlink error

发表于 2019-01-26

npm操作虚拟机共享文件夹里的文件时出现 npm Error: EROFS: read-only file system, symlink的报错信息。

解决方法

原来VirtualBox从安全角度出发，限制了软链接的创建，需要打开相应的Feature。以下为详细步骤：

关闭 VirtualBox。

将VirtualBox安装目录的路径加入系统环境变量PATH中。

打开命令行窗口，执行如下命令：

1	VBoxManage setextradata YOURVMNAME VBoxInternal2/SharedFoldersEnableSymlinksCreate/YOURSHAREFOLDERNAME 1

其中：YOURVMNAME为虚拟机中linux系统的名称
YOURSHAREFOLDERNAME 为共享的目录名称

“以管理者身份运行” VirtualBox　即可！

linux挂载windows下的共享文件

发表于 2018-11-23

安装cifs-utils

1	yum install cifs* -y

这条命令只可以读取Windows共享文件，不能创建文件

#user=Windows用户
#pass=Windows登录密码
#//192.168.10.64/APP Windows共享文件
#/opt/APP/ linux挂载目录

mount.cifs //192.168.10.64/APP /opt/APP/ -o user=Developer,pass=123456trewq

这条命令可以添加文件操作权限

#user=Windows用户
#pass=Windows登录密码
#//192.168.10.64/APP Windows共享文件
#/opt/APP/ linux挂载目录
#uid，gid，linux用户的id和用户组id，可以通过 id root 命令查看用户的id和用户组id
#rw,dir_mode=0777,file_mode=0777这些是设置文件夹权限，可以根据自己的需求设置权限

mount.cifs //192.168.10.64/APP /opt/APP/ -o user=Developer,pass=123456trewq,rw,uid=0,gid=0,dir_mode=0777,file_mode=0777

php-fpm的关闭和重启

发表于 2018-11-23

php-fpm 关闭：

1	kill -INT `cat /usr/local/php/var/run/php-fpm.pid`

1	killall php-fpm

php-fpm启动

1	/usr/local/php/sbin/php-fpm

php-fpm 重启

1	kill -USR2 `cat /usr/local/php/var/run/php-fpm.pid`

查看php-fpm进程数

1	ps aux \| grep -c php-fpm

Linux下iptables屏蔽IP和端口号

发表于 2018-11-16

#封单个IP的命令：
iptables -I INPUT -s 192.168.10.66 -j DROP

#封IP段的命令：
iptables -I INPUT -s 192.168.0.0/16 -j DROP

#封整个段的命令：
iptables -I INPUT -s 192.168.0.0/8 -j DROP

#封几个段的命令：
iptables -I INPUT -s 192.168.10.0/24 -j DROP

#只封80端口：
iptables -I INPUT -p tcp –dport 80 -s 192.168.0.0/24 -j DROP

#解封：
iptables -F

#清空：
iptables -D INPUT 数字

#列出 INPUT链 所有的规则：
iptables -L INPUT --line-numbers

#删除某条规则，其中5代表序号（序号可用上面的命令查看）：
iptables -D INPUT 5

#开放指定的端口：
iptables -A INPUT -p tcp --dport 80 -j ACCEPT

#禁止指定的端口：
iptables -A INPUT -p tcp --dport 80 -j DROP

#拒绝所有的端口：
iptables -A INPUT -j DROP

以上都是针对INPUT链的操作，即是外面来访问本机的方向，配置完之后需要保存，否则iptables 重启之后以上设置就失效

1	service iptables save

iptables 对应的配置文件

1	/etc/sysconfig/iptables

注意：iptables的规则匹配顺序上从上到下的，也就是说如果上下两条规则有冲突时，将会以上面的规则为准。

zhaoguibin

个人平时问题记录

GitHub E-Mail

代码github地址

需要安装 gjson

解决方法

关闭 VirtualBox。

将VirtualBox安装目录的路径加入系统环境变量PATH中。

打开命令行窗口，执行如下命令：

“以管理者身份运行” VirtualBox 即可！

安装cifs-utils

这条命令只可以读取Windows共享文件，不能创建文件

这条命令可以添加文件操作权限

php-fpm 关闭：

php-fpm启动

php-fpm 重启

查看php-fpm进程数

“以管理者身份运行” VirtualBox　即可！