张宴的博客

　　[文章作者：张宴 本文版本：v1.0 最后修改：2010.09.08 转载请注明原文链接：http://blog.zyan.cc/mysql-udf-http/]

　　Mysql-udf-http 是一款简单的MySQL用户自定义函数（UDF, User-Defined Functions），具有http_get()、http_post()、http_put()、http_delete()四个函数，可以在MySQL数据库中利用HTTP协议进行REST相关操作。

　　项目网址：http://code.google.com/p/mysql-udf-http/
　　中文说明：http://blog.zyan.cc/mysql-udf-http/
　　使用环境：Linux操作系统，支持的MySQL版本：5.1.x 和 5.5.x。5.0.x未经测试。
　　软件作者：张宴

---

　　一、REST架构风格：

　　REST（Representational State Transfer）是一种轻量级的Web Service架构风格，其实现和操作明显比SOAP和XML-RPC更为简洁，可以完全通过HTTP协议实现，还可以利用缓存Cache来提高响应速度，性能、效率和易用性上都优于SOAP协议。REST最早是由 Roy Thomas Fielding 博士2000年在论文《Architectural Styles and the Design of Network-based Software Architectures》中提出的，中文译文全文PDF点此下载。另外，有篇译文对REST做了一个简化说明。

　　目前，REST架构风格的常见实现是基于HTTP协议及其四种基本方法（如POST、GET、PUT和DELETE）的。有人将HTTP协议的四种方法与CRUD原则相对应，CRUD原则对于资源只需要四种行为：Create（创建）、Read（读取）、Update（更新）和Delete（删除）就可以完成对其操作和处理。

　　

　　

　　在Mysql-udf-http中，四个函数http_post()、http_get()、http_put()、http_delete()分别对应HTTP协议的POST、GET、PUT、DELETE四种方法。

　　REST是一种架构风格，而不是协议或标准。HTTP协议“POST、GET、PUT、DELET”四种方法与CRUD原则“Create、Read、Update、Delete”四种行为的一一对应关系只是一种架构设计习惯，而不是规范。因此，POST方法也可以用来更新资源，PUT方法也可以用来创建资源，这就要看具体应用程序作者的定义了。例如Tokyo Tyrant除了支持Memcached协议外，还支持REST方式存取，PUT代表创建和更新，GET代表读取，DELETE代表删除（关于Tokyo Tyrant的安装使用请点击这儿）。

　　目前国内外流行的Web 2.0应用API接口中，很多都支持REST架构风格。例如：新浪微博开放平台、人人网API、Google OpenID、Flickr、Twitter、eBay、Facebook、Last.fm、del.icio.us、Yahoo Search、Amazon S3、Amazon EC2、Digg、Microsoft Bing、FriendFeed、PayPal、Foursquare，更多...

　　当记录数成百上千万条时，通常采用 MySQL 分表减低数据库压力。但是，全部数据按点击数、精华、积分排序显示等功能，在MySQL 分表中则无法实现。编写 Mysql-udf-http 的最初目的，是为了在项目开发中，将 MySQL 各分表的数据自动同步到我们的 TCSQL 高速列表数据库，用来做列表查询、显示，内容页则根据ID直接查询各 MySQL 分表的内容。由于HTTP协议的通用性，通过 Mysql-udf-http 可以做更多的事情。

　　通过Mysql-udf-http，你可以在MySQL中利用触发器，将MySQL的数据同步到支持REST的应用上。例如你有一个独立博客，你可以在文章表创建MySQL触发器，这样，在发表文章时，就可以将文章标题、URL自动同步到新浪微博、Twitter。你想用 Tokyo Tyrant 做缓存，也可以利用MySQL触发器在发生增、删、改时，将数据自动同步到 Tokyo Tyrant。详细配置方法本文第4节中会有介绍。

---

　　二、Mysql-udf-http的安装与使用：

　　1. 在Linux系统上安装Mysql-udf-http

　　注意：“/usr/local/webserver/mysql/”是你的MySQL安装路径，如果你的MySQL安装路径不同，请自行修改。

　　[文章作者：张宴 本文版本：v1.1 最后修改：2010.05.18 转载请注明原文链接：http://blog.zyan.cc/infobright/]

　　Infobright是一个与MySQL集成的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。

　　一、Infobright的基本特征：
　　优点：
　　查询性能高：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQL存储引擎快5～60倍
　　存储数据量大：TB级数据大小，几十亿条记录
　　高压缩比：在我们的项目中为18:1，极大地节省了数据存储空间
　　基于列存储：无需建索引，无需分区
　　适合复杂的分析性SQL查询：SUM, COUNT, AVG, GROUP BY

　　限制：
　　不支持数据更新：社区版Infobright只能使用“LOAD DATA INFILE”的方式导入数据，不支持INSERT、UPDATE、DELETE
　　不支持高并发：只能支持10多个并发查询

---

　　二、Infobright 安装与基本用法：
　　1、下载安装社区版Infobright二进制Linux版本，端口3307


　　①、64位系统：


　　②、32位系统：

　　以下是我4月2日在“2010年数据库技术大会”的演讲PPT，介绍了 Tokyo Cabinet Key-Value 数据库的性能优化关键参数，以及金山逍遥网在Tokyo Cabinet基础上实现的TCSQL实时列表缓存数据库(Version 1.3)。

　　PDF格式下载：

　　[文章作者：张宴 本文版本：v1.1 最后修改：2010.09.03 转载请注明原文链接：http://blog.zyan.cc/tcsql/]

　　曾经有人提出，一般数据库缓存分为四种。第一种：单个对象的缓存（一个对象就是数据库一条记录），对于单个对象的临时缓存或永久缓存，用HashMap就可以了，Key-Value方式的Memcached、Memcachedb、Tokyo Tyrant都可以，或者直接对查询数据库的网页采用Squid做缓存，没什么太难的；第二种：列表缓存，就像论坛里帖子的列表；第三种：记录条数的缓存，比如一个论坛板块里有多少个帖子，这样才方便实现分页。第四种：复杂一点的group，sum，count查询，比如一个论坛里按点击数排名的最HOT的帖子列表。第一种比较好实现，后面三种比较困难，虽然可以通过各种方法来解决，但截至目前，似乎还没有使用即简单、并发处理能力又强、实时性又高的解决办法。

---

　　TCSQL为列表页的实时缓存而生，是金山逍遥网技术支持部平台组以Tokyo Cabinet DBM为底层存储与索引，结合类似Memcached的Key-Value内存对象缓存，借鉴SQL语句的SELECT、INSERT、UPDATE、DELETE思想与功能开发的实时列表缓存数据库，能够较好地解决上述前三种类别，特别是第二种、第三种类别的高并发读写问题。

　　TCSQL采用HTTP GET/POST协议＋JSON数据交换格式在客户端、服务器端之间进行数据交互，支持HTTP协议的任何客户端或语言（例如JavaScript、PHP、JSP、Perl、Python等），都能够连接TCSQL服务器进行操作。这就意味着，一些查询量非常大的应用，甚至可以直接使用运行在用户浏览器端的JavaScript代码访问TCSQL数据库，当然，为了安全起见，你可以在中间用Nginx配以rewrite规则，对TCSQL做个反向代理，限制一下查询权限。

　　利用开源的MySQL UDF自定义函数扩展lib_mysqludf_urlencode、lib_mysqludf_urlencode，以及我们平台组周洋同学编写的lib_mysqludf_http_post扩展，配以MySQL触发器，我们可以在MySQL的某张表发生插入、更新、删除操作时，自动将数据同步到TCSQL数据库，使得TCSQL可以当MySQL从库一样使用。

　　TCSQL实时列表缓存数据库单机能够支撑1万以上的并发连接，QPS（每秒查询率）能够达到5000～15000次。



　　以下是TCSQL在10000并发连接情况下的查询速度（服务器为浪潮NF190服务器，两颗双核Xeon(TM) CPU 2.80GHz、4GB内存、1万转SCSI硬盘。）：

　　1、第一种类型A：主键查询并取出倒序第1条记录（“=”运算）：12155次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=pkey:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：


　　2、第一种类型B：其他索引键查询并取出倒序第1条记录（“=”运算）：11897次请求/秒

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=uid:NUMEQ:随机数值&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=1

　　测试结果：


　　3、第二种类型：根据复合条件查询并取出倒序前10条记录：8778次请求/秒（相当于SELECT * FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本' ORDER BY pkey DESC LIMIT 0,10）

　　查询内容：http://192.168.8.34:3888/?command=select&type=*&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本&order_by=pkey&order_sort=NUMDESC&limit_skip=0&limit_max=10

　　测试结果：


　　4、第三种类型：统计符合查询条件的记录数量：9160次请求/秒（相当于SELECT count(*) FROM table WHERE dateline >= 随机时间戳 AND idtype = '变换的文本'）

　　查询内容：http://192.168.8.34:3888/?command=select&type=count&where=dateline:NUMGE:随机时间戳|idtype:STREQ:变换的文本

　　测试结果：

　　除了 Oracle 买了 Sun 这件事之外，还有一件重要的事，就是 Sun 发布了 MySQL 5.4 预览版。根据其 EAStress2004 benchmark 测试，MySQL 5.4 比 MySQL 5.1 快了 59%。有空我下载下来自己做个测试。

　　更多内容见：

　　《A Quick Look at MySQL 5.4》：http://dev.mysql.com/tech-resources/articles/mysql-54.html

　　MySQL 5.4 下载地址：http://dev.mysql.com/downloads/mysql/5.4.html

　　[文章作者：张宴 本文版本：v1.0 最后修改：2009.04.21 转载请注明原文链接：http://blog.zyan.cc/post/411/]

　　1、下载Oracle即时客户端程序包 — Basic： 运行 OCI、OCCI 和 JDBC-OCI 应用程序所需的所有文件

　　①、打开以下网址（本文以32位版为例）：
　　（Linux 32位版）http://www.oracle.com/technology/software/tech/oci/instantclient/htdocs/linuxsoft.html
　　（Linux 64位版）http://www.oracle.com/technology/software/tech/oci/instantclient/htdocs/linuxx86_64soft.html

　　②、下载以下几个文件：


　　2、安装Oracle即时客户端程序包


　　3、安装OCI8 PHP扩展（使用PHP自带的OCI8，假设PHP程序安装在/usr/local/webserver/php/）


　　4、修改PHP配置文件（/usr/local/webserver/php/etc/php.ini）
在extension_dir = "/usr/local/webserver/php/lib/php/extensions/no-debug-non-zts-20060613/"后增加一行：


　　5、重启PHP

　　6、创建一个phpinfo.php文件（内容如下）并通过Web访问，如果有“oci8”这一项，则表明安装成功。

　　

　　High Performance MySQL Second Edition

　　作者: Baron Schwartz / Peter Zaitsev / Vadim Tkachenko / Jeremy Zawodny / Arjen Lentz / Derek Balling

　　副标题: Optimization, Backups, Replication, and More
　　ISBN: 9780596101718
　　页数: 708
　　定价: USD 49.99
　　出版社: O'Reilly Media, Inc.
　　装帧: Paperback
　　出版年: 2008-06-18

　　High Performance MySQL is the definitive guide to building fast, reliable systems with MySQL. Written by noted experts with years of real-world experience building very large systems, this book covers every aspect of MySQL performance in detail, and focuses on robustness, security, and data integrity.

　　High Performance MySQL teaches you advanced techniques in depth so you can bring out MySQL's full power. Learn how to design schemas, indexes, queries and advanced MySQL features for maximum performance, and get detailed guidance for tuning your MySQL server, operating system, and hardware to their fullest potential. You'll also learn practical, safe, high-performance ways to scale your applications with replication, load balancing, high availability, and failover.

　　This second edition is completely revised and greatly expanded, with deeper coverage in all areas. Major additions include:
　　* Emphasis throughout on both performance and reliability
　　* Thorough coverage of storage engines, including in-depth tuning and optimizations for the InnoDB storage engine
　　* Effects of new features in MySQL 5.0 and 5.1, including stored procedures, partitioned databases, triggers, and views
　　* A detailed discussion on how to build very large, highly scalable systems with MySQL
　　* New options for backups and replication
　　* Optimization of advanced querying features, such as full-text searches
　　* Four new appendices
　　The book also includes chapters on benchmarking, profiling, backups, security, and tools and techniques to help you measure, monitor, and manage your MySQL installations.

　　[文章作者：张宴 本文版本：v1.0 最后修改：2008.07.24 转载请注明原文链接：http://blog.zyan.cc/post/359/]

　　写了一个shell脚本，可以在同一台Linux服务器的不同端口，运行多个MySQL服务的情况下，快捷启动、停止、重启、杀死指定端口的MySQL进程。


　　输入以下内容（因各服务器的MySQL配置不同，可能需要修改的部分已用红色标注）：


　　赋予脚本可执行权限：


　　脚本执行方法：

　　[文章作者：张宴 本文版本：v1.1 最后修改：2008.06.02 转载请注明出自：http://blog.zyan.cc]

　　TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载。

　　TCMalloc的实现原理和测试报告请见一篇文章：《TCMalloc：线程缓存的Malloc》

　　为MySQL添加TCMalloc库的安装步骤（Linux环境）：

　　1、64位操作系统请先安装libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。


　　2、安装google-perftools：


　　3、修改MySQL启动脚本（根据你的MySQL安装位置而定）：

　　在# executing mysqld_safe的下一行，加上：
　　保存后退出，然后重启MySQL服务器。


　　4、使用lsof命令查看tcmalloc是否起效：

　　如果发现以下信息，说明tcmalloc已经起效：
　　mysqld    10847   mysql  mem       REG        8,5  1203756   20484960 /usr/local/lib/libtcmalloc.so.0.0.0  

---

　　注：2008年6月2日，修正了libunwind在x86_64位操作系统下的编译错误，TCMalloc无法加载等问题。

　　涉及修改内容：
　　1、libunwind的编译参数改为：
　　CFLAGS=-fPIC ./configure
　　make CFLAGS=-fPIC
　　make CFLAGS=-fPIC install

　　2、增加：
　　echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
　　/sbin/ldconfig

　　3、修改MySQL加载TCMalloc的语句：
　　export LD_PRELOAD=/usr/local/lib/libtcmalloc.so

　　感谢网友router。

　　2008年4月18日，在Alexa安排的一次“Scaling MySQL -- Up or Out?”的小组辩论中，MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们，对其网站MySQL数据库服务器、Web服务器、缓存服务器的数量，MySQL版本，编程语言类型，操作系统类型等问题进行了回答。

　　

　　[文章作者：张宴 本文版本：v1.0 最后修改：2007.08.06 转载请注明出处：http://blog.zyan.cc]

　　我一直习惯用phpMyAdmin对MySQL数据库进行管理，曾修改了一个《可管理多台远程MySQL服务器的phpMyAdmin 2.10.2》。但有些机器上因为安全等因素，只设置了允许从本机访问自身的MySQL端口，而且没有安装Apache和PHP，因而不能使用phpMyAdmin。于是，我只好使用命令行方式来对MySQL数据库进行管理。为了方便以后从命令行操作数据库可以更方便（拷贝、粘贴），我写下了这篇文章。

一、从命令行登录MySQL数据库服务器
1、登录使用默认3306端口的MySQL

2、通过TCP连接管理不同端口的多个MySQL（注意：MySQL4.1以上版本才有此项功能）

3、通过socket套接字管理不同端口的多个MySQL

4、通过端口和IP管理不同端口的多个MySQL

---

二、数据库操作SQL语句
1、显示服务器上当前存在什么数据库

2、创建名称为rewin的数据库

3、删除名称为rewin的数据库

　　我博客上的图片原来都存放在www.zyan.cc服务器上，由于该服务器不稳定，于是我将所有图片切换到了blog.zyan.cc服务器上，同时在MySQL数据库中，将字符串www.zyan.cc批量替换为blog.zyan.cc。为了方便以后使用，我将这条“将字符串aaa批量替换为bbb”的SQL语句记录在此：

　　4月，我曾写过一篇文章《修改phpMyAdmin使其能够管理多台远程MySQL服务器》。今天架设sina播客测试环境时，再次用到phpMyAdmin管理远程数据库，于是干脆根据其最新版本V2.10.2做了一个可直接下载使用的、可管理多台远程MySQL服务器、同时支持Windows和Linux的phpMyAdmin 2.10.2。

　　下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1848024

　　

　　昨天，校党委宣传部的W老师打电话向我寻求帮助，说中南民大论坛MySQL数据库发生故障，他们试图用5月7日的数据库备份去恢复，但没有成功。我晚上回宿舍后，登录到民大论坛服务器上一看，原来是论坛MySQL数据库的一张MySQL表损坏。根据我的经验，成功修复MySQL损坏表的概率是90%，根本没有必要急着去用旧的数据库备份去恢复，何况备份又不及时，5月7日到发生故障的5月22日，意味着要丢失15天的数据啊。

　　我修复了5月22日的数据库，故障发生之前的数据没有丢失。方法很简单，四步即可搞定。

　　①、用root帐号从命令行登录MySQL：
　　mysql -u root -p

　　②、输入root帐号的密码。

　　③、选定数据库名（本例中的数据库名为studentmis）：
　　use studentmis;

　　④、修复损坏的表（本例中要修复的表为smis_user_student）：
　　repair table smis_user_student;

[文章作者：张宴 本文版本：v1.2 最后修改：2007.07.09 转载请注明出处：http://blog.zyan.cc]

需求背景：
　　phpMyAdmin是一款不错的MySQL在线管理工具，但phpMyAdmin的cookie登录方式只能输入MySQL数据库的用户名和密码，而想更改MySQL服务器地址和端口则须修改其配置文件config.default.php。当拥有多台数据库服务器，每台服务器又在不同端口启动了多个MySQL服务，每次都修改配置文件就显得很麻烦，因此需要能够在登录界面直接输入MySQL服务器地址和端口的功能。

功能要求：
　　假设phpMyAdmin的访问网址为http://192.168.1.25/phpmyadmin/，能够通过输入MySQL服务器地址、端口、用户名、密码登录远程MySQL服务器，对远程数据库进行管理。

修改后的phpMyAdmin登录入口截图：


下载地址：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1848024

实现步骤：