ODBC驱动的使用,提高查询速度实例

MySQL由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.我在开发一个P2P应用的时候曾经使用MySQL来保存P2P节点,由于P2P的应用中,结点数动辄上万个,而且节点变化频繁,因此一定要保持查询和插入的高效.以下是我在使用过程中做的提高效率的三个有效的尝试.

1.使用mysql提供的api函数库。
很多有名的mysql客户端工具就是这样实现的,大名鼎鼎的winmysql工具就是这样的。这在大部分的开发工具中都可以实现。比如vc,bcb,delphi,vb等,只要能调用第三方的api就能实现。但对程序员的要求很高,而且要熟悉一套mysql的api函数集,这不是对每个人都很轻松的事。而且这种方法不能用于asp等程序,因为它不支持com对象。

GROUP BY(聚合)函数 本章论述了用于一组数值操作的 group (集合)函数。除非另作说明, group 函数会忽略 NULL 值。 假如你在一个不包含 ROUP BY子句的语句中使用一个 group函数 ,它相当于对所有行进行分组。

  1. 使用statement进行绑定查询 2. 随机的获取记录 3. 使用连接池管理连接.

2。第二种是使用myodbc驱动程序。
你可以到www.mysql.com下载myodbc驱动程序,然后照着下面的做就可以了第一种选择是下载完全安装包,这种包很大,但对于我们来说有用的只有myodbc.dll这个文件,却要下载这么大的文件,不太合适。当然,如果你很菜的话,我建议你选择这种方式,这样容易些,但不符合cfans的作风,是吧。
第二种是直接下载myodbc.dll文件,只有几百k,但不太容易使用,本人经过很久摸索才找到使用它的方法。首先你将包解开,将myodbc.dll 文件放到windowssystem 或 winntsystem32目录下,这取决于你的系统是win9x还是winnt(win2k),你应该知道吧。
然后打开一纯文本编辑器,如editplus,notpad之类,(取决于你的喜好)将下面一段话保存为一文件,扩展名为.reg,知道了吧,这是注册表文件,不要搞错呀(不包括下面的一长串等号)
如果你用的是win2k请将第一行换成
Windows Registry Editor Version 5.00

GROUP BY(聚合)函数
本章论述了用于一组数值操作的 group (集合)函数。除非另作说明, group 函数会忽略 NULL 值。

MySQL由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.我在开发一个P2P应用的时候曾经使用MySQL来保存P2P节点,由于P2P的应用中,结点数动辄上万个,而且节点变化频繁,因此一定要保持查询和插入的高效.以下是我在使用过程中做的提高效率的三个有效的尝试.
l        使用statement进行绑定查询

==========================================================从下行开始

假如你在一个不包含 ROUP BY子句的语句中使用一个 group函数 ,它相当于对所有行进行分组。

使用statement可以提前构建查询语法树,在查询时不再需要构建语法树就直接查询.因此可以很好的提高查询的效率. 这个方法适合于查询条件固定但查询非常频繁的场合. 使用方法是:

Windows Registry Editor Version 4.00

AVG([DISTINCT] expr)
返回expr 的平均值。 DISTINCT 选项可用于返回 expr的不同值的平均值。

  1. 绑定, 创建一个MYSQL_STMT变量,与对应的查询字符串绑定,字符串中的问号代表要传入的变量,每个问号都必须指定一个变量.
  2. 查询, 输入每个指定的变量, 传入MYSQL_STMT变量用可用的连接句柄执行.

[HKEY_LOCAL_MACHINESOFTWAREODBCODBCINST.INImyodbc driver]
"UsageCount"=dword:00000002
"Driver"="C:WINNTSystem32myodbc.dll"
"Setup"="C:WINNTSystem32myodbc.dll"
"SQLLevel"="1"
"FileUsage"="0"
"DriverODBCVer"="02.50"
"ConnectFunctions"="YYY"
"APILevel"="1"
"CpTimeout"="120"
[HKEY_LOCAL_MACHINESOFTWAREODBCODBCINST.INIODBC Drivers]
"myodbc driver"="installed"

若找不到匹配的行,则AVG()返回 NULL 。

代码如下:   //1.绑定 bool CDBManager::BindInsertStmt(MYSQL * connecthandle) {        //作插入操作的绑定        MYSQL_BIND insertbind[FEILD_NUM];        if(m_stInsertParam == NULL)               m_stInsertParam = new CHostCacheTable;        m_stInsertStmt = mysql_stmt_init(connecthandle);        //构建绑定字符串        char insertSQL[SQL_LENGTH];        strcpy(insertSQL, "insert into HostCache(SessionID, ChannelID, ISPType, "               "ExternalIP, ExternalPort, InternalIP, InternalPort) "               "values(?, ?, ?, ?, ?, ?, ?)");        mysql_stmt_prepare(m_stInsertStmt, insertSQL, strlen(insertSQL));        int param_count= mysql_stmt_param_count(m_stInsertStmt);        if(param_count != FEILD_NUM)               return false;        //填充bind结构数组, m_sInsertParam是这个statement关联的结构变量        memset(insertbind, 0, sizeof(insertbind));        insertbind[0].buffer_type = MYSQL_TYPE_STRING;        insertbind[0].buffer_length = ID_LENGTH /* -1 */;        insertbind[0].buffer = (char *)m_stInsertParam->sessionid;        insertbind[0].is_null = 0;        insertbind[0].length = 0;          insertbind[1].buffer_type = MYSQL_TYPE_STRING;        insertbind[1].buffer_length = ID_LENGTH /* -1 */;        insertbind[1].buffer = (char *)m_stInsertParam->channelid;        insertbind[1].is_null = 0;        insertbind[1].length = 0;          insertbind[2].buffer_type = MYSQL_TYPE_TINY;        insertbind[2].buffer = (char *)&m_stInsertParam->ISPtype;        insertbind[2].is_null = 0;        insertbind[2].length = 0;          insertbind[3].buffer_type = MYSQL_TYPE_LONG;        insertbind[3].buffer = (char *)&m_stInsertParam->externalIP;        insertbind[3].is_null = 0;        insertbind[3].length = 0;               insertbind[4].buffer_type = MYSQL_TYPE_SHORT;        insertbind[4].buffer = (char *)&m_stInsertParam->externalPort;        insertbind[4].is_null = 0;        insertbind[4].length = 0;          insertbind[5].buffer_type = MYSQL_TYPE_LONG;        insertbind[5].buffer = (char *)&m_stInsertParam->internalIP;        insertbind[5].is_null = 0;        insertbind[5].length = 0;          insertbind[6].buffer_type = MYSQL_TYPE_SHORT;        insertbind[6].buffer = (char *)&m_stInsertParam->internalPort;        insertbind[6].is_null = 0;        insertbind[6].is_null = 0;        //绑定        if (mysql_stmt_bind_param(m_stInsertStmt, insertbind))               return false;        return true; }   //2.查询 bool CDBManager::InsertHostCache2(MYSQL * connecthandle, char * sessionid, char * channelid, int ISPtype,               unsigned int eIP, unsigned short eport, unsigned int iIP, unsigned short iport) {        //填充结构变量m_sInsertParam        strcpy(m_stInsertParam->sessionid, sessionid);        strcpy(m_stInsertParam->channelid, channelid);        m_stInsertParam->ISPtype = ISPtype;        m_stInsertParam->externalIP = eIP;        m_stInsertParam->externalPort = eport;        m_stInsertParam->internalIP = iIP;        m_stInsertParam->internalPort = iport;        //执行statement,性能瓶颈处        if(mysql_stmt_execute(m_stInsertStmt))               return false;        return true; }   l         随机的获取记录 在某些数据库的应用中, 我们并不是要获取所有的满足条件的记录,而只是要随机挑选出满足条件的记录. 这种情况常见于数据业务的统计分析,从大容量数据库中获取小量的数据的场合.       有两种方法可以做到 1.       常规方法,首先查询出所有满足条件的记录,然后随机的挑选出部分记录.这种方法在满足条件的记录数很多时效果不理想. 2.       使用limit语法,先获取满足条件的记录条数, 然后在sql查询语句中加入limit来限制只查询满足要求的一段记录. 这种方法虽然要查询两次,但是在数据量大时反而比较高效. 示例代码如下:   //1.常规的方法 //性能瓶颈,10万条记录时,执行查询140ms, 获取结果集500ms,其余可忽略 int CDBManager::QueryHostCache(MYSQL* connecthandle, char * channelid, int ISPtype, CDBManager::CHostCacheTable * &hostcache) {            char selectSQL[SQL_LENGTH];        memset(selectSQL, 0, sizeof(selectSQL));        sprintf(selectSQL,"select * from HostCache where ChannelID = ‘%s‘ and ISPtype = %d", channelid, ISPtype);        if(mysql_real_query(connecthandle, selectSQL, strlen(selectSQL)) != 0)   //检索               return 0;        //获取结果集        m_pResultSet = mysql_store_result(connecthandle);        if(!m_pResultSet)   //获取结果集出错               return 0;        int iAllNumRows = (int)(mysql_num_rows(m_pResultSet));      ///<所有的搜索结果数        //计算待返回的结果数        int iReturnNumRows = (iAllNumRows <= RETURN_QUERY_HOST_NUM)? iAllNumRows:RETURN_QUERY_HOST_NUM;        if(iReturnNumRows <= RETURN_QUERY_HOST_NUM)        {               //获取逐条记录               for(int i = 0; i<iReturnNumRows; i )               {                      //获取逐个字段                      m_Row = mysql_fetch_row(m_pResultSet);                      if(m_Row[0] != NULL)                             strcpy(hostcache[i].sessionid, m_Row[0]);                      if(m_Row[1] != NULL)                             strcpy(hostcache[i].channelid, m_Row[1]);                      if(m_Row[2] != NULL)                             hostcache[i].ISPtype      = atoi(m_Row[2]);                      if(m_Row[3] != NULL)                             hostcache[i].externalIP   = atoi(m_Row[3]);                      if(m_Row[4] != NULL)                             hostcache[i].externalPort = atoi(m_Row[4]);                      if(m_Row[5] != NULL)                             hostcache[i].internalIP   = atoi(m_Row[5]);                      if(m_Row[6] != NULL)                             hostcache[i].internalPort = atoi(m_Row[6]);                            }        }        else        {               //随机的挑选指定条记录返回               int iRemainder = iAllNumRows%iReturnNumRows;    ///<余数               int iQuotient = iAllNumRows/iReturnNumRows;      ///<商               int iStartIndex = rand()%(iRemainder 1);         ///<开始下标                //获取逐条记录         for(int iSelectedIndex = 0; iSelectedIndex < iReturnNumRows; iSelectedIndex )         {                             mysql_data_seek(m_pResultSet, iStartIndex iQuotient * iSelectedIndex);                             m_Row = mysql_fetch_row(m_pResultSet);                   if(m_Row[0] != NULL)                        strcpy(hostcache[iSelectedIndex].sessionid, m_Row[0]);                    if(m_Row[1] != NULL)                                    strcpy(hostcache[iSelectedIndex].channelid, m_Row[1]);                    if(m_Row[2] != NULL)                        hostcache[iSelectedIndex].ISPtype      = atoi(m_Row[2]);                    if(m_Row[3] != NULL)                        hostcache[iSelectedIndex].externalIP   = atoi(m_Row[3]);                     if(m_Row[4] != NULL)                        hostcache[iSelectedIndex].externalPort = atoi(m_Row[4]);                    if(m_Row[5] != NULL)                        hostcache[iSelectedIndex].internalIP   = atoi(m_Row[5]);                    if(m_Row[6] != NULL)                        hostcache[iSelectedIndex].internalPort = atoi(m_Row[6]);         }       }        //释放结果集内容        mysql_free_result(m_pResultSet);        return iReturnNumRows; }   //2.使用limit版 int CDBManager::QueryHostCache(MYSQL * connecthandle, char * channelid, unsigned int myexternalip, int ISPtype, CHostCacheTable * hostcache) {        //首先获取满足结果的记录条数,再使用limit随机选择指定条记录返回        MYSQL_ROW row;        MYSQL_RES * pResultSet;        char selectSQL[SQL_LENGTH];        memset(selectSQL, 0, sizeof(selectSQL));          sprintf(selectSQL,"select count(*) from HostCache where ChannelID = ‘%s‘ and ISPtype = %d", channelid, ISPtype);        if(mysql_real_query(connecthandle, selectSQL, strlen(selectSQL)) != 0)   //检索               return 0;        pResultSet = mysql_store_result(connecthandle);        if(!pResultSet)                     return 0;        row = mysql_fetch_row(pResultSet);        int iAllNumRows = atoi(row[0]);        mysql_free_result(pResultSet);        //计算待取记录的上下范围        int iLimitLower = (iAllNumRows <= RETURN_QUERY_HOST_NUM)?               0:(rand()%(iAllNumRows - RETURN_QUERY_HOST_NUM));        int iLimitUpper = (iAllNumRows <= RETURN_QUERY_HOST_NUM)?               iAllNumRows:(iLimitLower RETURN_QUERY_HOST_NUM);        //计算待返回的结果数        int iReturnNumRows = (iAllNumRows <= RETURN_QUERY_HOST_NUM)?                iAllNumRows:RETURN_QUERY_HOST_NUM;               //使用limit作查询        sprintf(selectSQL,"select SessionID, ExternalIP, ExternalPort, InternalIP, InternalPort "               "from HostCache where ChannelID = ‘%s‘ and ISPtype = %d limit %d, %d"               , channelid, ISPtype, iLimitLower, iLimitUpper);        if(mysql_real_query(connecthandle, selectSQL, strlen(selectSQL)) != 0)   //检索               return 0;        pResultSet = mysql_store_result(connecthandle);        if(!pResultSet)               return 0;        //获取逐条记录        for(int i = 0; i<iReturnNumRows; i )        {               //获取逐个字段               row = mysql_fetch_row(pResultSet);               if(row[0] != NULL)                      strcpy(hostcache[i].sessionid, row[0]);               if(row[1] != NULL)                      hostcache[i].externalIP   = atoi(row[1]);               if(row[2] != NULL)                      hostcache[i].externalPort = atoi(row[2]);               if(row[3] != NULL)                      hostcache[i].internalIP   = atoi(row[3]);               if(row[4] != NULL)                      hostcache[i].internalPort = atoi(row[4]);                    }        //释放结果集内容        mysql_free_result(pResultSet);        return iReturnNumRows; }   l         使用连接池管理连接. 在有大量节点访问的数据库设计中,经常要使用到连接池来管理所有的连接. 一般方法是:建立两个连接句柄队列,空闲的等待使用的队列和正在使用的队列. 当要查询时先从空闲队列中获取一个句柄,插入到正在使用的队列,再用这个句柄做数据库操作,完毕后一定要从使用队列中删除,再插入到空闲队列. 设计代码如下:   //定义句柄队列 typedef std::list<MYSQL *> CONNECTION_HANDLE_LIST; typedef std::list<MYSQL *>::iterator CONNECTION_HANDLE_LIST_IT;   //连接数据库的参数结构 class CDBParameter             { public:        char *host;                                 ///<主机名        char *user;                                 ///<用户名        char *password;                         ///<密码        char *database;                           ///<数据库名        unsigned int port;                 ///<端口,一般为0        const char *unix_socket;      ///<套接字,一般为NULL        unsigned int client_flag; ///<一般为0 };   //创建两个队列 CONNECTION_HANDLE_LIST m_lsBusyList;                ///<正在使用的连接句柄 CONNECTION_HANDLE_LIST m_lsIdleList;                  ///<未使用的连接句柄   //所有的连接句柄先连上数据库,加入到空闲队列中,等待使用. bool CDBManager::Connect(char * host /* = "localhost" */, char * user /* = "chenmin" */,                                             char * password /* = "chenmin" */, char * database /* = "HostCache" */) {        CDBParameter * lpDBParam = new CDBParameter();        lpDBParam->host = host;        lpDBParam->user = user;        lpDBParam->password = password;        lpDBParam->database = database;        lpDBParam->port = 0;        lpDBParam->unix_socket = NULL;        lpDBParam->client_flag = 0;        try        {               //连接               for(int index = 0; index < CONNECTION_NUM; index )               {                      MYSQL * pConnectHandle = mysql_init((MYSQL*) 0);     //初始化连接句柄                      if(!mysql_real_connect(pConnectHandle, lpDBParam->host, lpDBParam->user, lpDBParam->password,        lpDBParam->database,lpDBParam->port,lpDBParam->unix_socket,lpDBParam->client_fla))                             return false; //加入到空闲队列中                      m_lsIdleList.push_back(pConnectHandle);               }        }        catch(...)        {               return false;        }        return true; }   //提取一个空闲句柄供使用 MYSQL * CDBManager::GetIdleConnectHandle() {        MYSQL * pConnectHandle = NULL;        m_ListMutex.acquire();        if(m_lsIdleList.size())        {               pConnectHandle = m_lsIdleList.front();                     m_lsIdleList.pop_front();               m_lsBusyList.push_back(pConnectHandle);        }        else //特殊情况,闲队列中为空,返回为空        {               pConnectHandle = 0;        }        m_ListMutex.release();          return pConnectHandle; }   //从使用队列中释放一个使用完毕的句柄,插入到空闲队列 void CDBManager::SetIdleConnectHandle(MYSQL * connecthandle) {        m_ListMutex.acquire();        m_lsBusyList.remove(connecthandle);        m_lsIdleList.push_back(connecthandle);        m_ListMutex.release(); } //使用示例,首先获取空闲句柄,利用这个句柄做真正的操作,然后再插回到空闲队列 bool CDBManager::DeleteHostCacheBySessionID(char * sessionid) {        MYSQL * pConnectHandle = GetIdleConnectHandle();        if(!pConnectHandle)               return 0;        bool bRet = DeleteHostCacheBySessionID(pConnectHandle, sessionid);        SetIdleConnectHandle(pConnectHandle);        return bRet; } //传入空闲的句柄,做真正的删除操作 bool CDBManager::DeleteHostCacheBySessionID(MYSQL * connecthandle, char * sessionid) {        char deleteSQL[SQL_LENGTH];        memset(deleteSQL, 0, sizeof(deleteSQL));        sprintf(deleteSQL,"delete from HostCache where SessionID = ‘%s‘", sessionid);        if(mysql_query(connecthandle,deleteSQL) != 0) //删除               return false;        return true;

很多有名的mysql客户端工具就是这样实现的,大名鼎鼎的winmysql工具就是这样的。这在大部分的开发工具中都可...

mysql> SELECT student_name, AVG(test_score)

, 在数据库应用中越来越多的被采用.我在开发一个P2P应用的时候曾经使用MySQL来保存P2P节点,由于P2P的应...

    ->        FROM student

    ->        GROUP BY student_name;

BIT_AND(expr) www.111cn.cn
返回expr中所有比特的 bitwise AND 。计算执行的精确度为64比特(BIGINT) 。

若找不到匹配的行,则这个函数返回 18446744073709551615 。(这是无符号 BIGINT 值,所有比特被设置为 1)。

BIT_OR(expr)
返回expr 中所有比特的bitwise OR。计算执行的精确度为64比特(BIGINT) 。

若找不到匹配的行,则函数返回 0 。

BIT_XOR(expr)
返回expr 中所有比特的bitwise XOR。计算执行的精确度为64比特(BIGINT) 。

若找不到匹配的行,则函数返回 0 。

COUNT(expr)
返回SELECT语句检索到的行中非NULL值的数目。  

若找不到匹配的行,则COUNT() 返回 0 。

mysql> SELECT student.student_name,COUNT(*)

    ->        FROM student,course

    ->        WHERE student.student_id=course.student_id

    ->        GROUP BY student_name;

 

COUNT(*) 的稍微不同之处在于,它返回检索行的数目, 不论其是否包含 NULL值。

SELECT 从一个表中检索,而不检索其它的列,并且没有 WHERE子句时, COUNT(*)被优化到最快的返回速度。例如:

mysql> SELECT COUNT(*) FROM student;

本文由ca88手机版登录发布于亚洲城ca88手机版官网,转载请注明出处:ODBC驱动的使用,提高查询速度实例

TAG标签: ca88手机版登录
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。