asp实现关键词获取(各搜索引擎,gb2312及utf-8)

现在各大搜索引擎编码为什么会不一样？.当然不是gb2312就是utf-8了.编码问题是比较头疼的问题...

我们获得关键词,一般是通过来访页面的url进行分析的.比如

http://www.google.com/search?hl=zh-CN&q=%E5%AD%A4%E7%8B%AC&lr=

各位肯定知道这个是通过urlencode编码的.

我们得到其中的信息,需要进行2步.第一步是进行urldecode,在我们普通参数活得的时候,这个是由asp自己来进行的,但是现在我们不得不进行手工解码.

网上函数很多,但都是针对于gb2312页面解gb2312.utf-8的.对于这个,我们可以很轻松的先进行解码,然后根据搜索引擎判断它的编码,如果是utf-8就再转换为gb2312.

但是由于我的网站是utf-8页面的.而utf-8页面我找到的只有解utf-8字符的urldecode编码的.在这里停顿了很久,最后我只能用最糟糕的方法,把拆分出来的关键词用xmlhttp提交到一个gb2312的asp页面,然后活得乱码(gb2312)后再进行gb2312 to utf-8的转换.

下面主要实现代码.

ASP/Visual Basic Code 复制内容到剪贴板

  1. Public Function GetSearchKeyword(RefererUrl) '搜索关键词
  2. if RefererUrl= "" or len(RefererUrl)<1 then exit function
    1. on error resume next
    1. Dim re
  5. Set re = New RegExp
  6. re.IgnoreCase = True
  7. re.Global = True
  8. Dim a,b,j
  9. '模糊查找关键词，此方法速度较快，范围也较大
  10. re.Pattern = "(word=([^&])|q=([^&])|p=([^&])|query=([^&])|name=([^&])|_searchkey=([^&])|baidu.?w=([^&]))"
  11. Set a = re.Execute(RefererUrl)
  12. If a.Count>0 then
  13. Set b = a(a.Count-1).SubMatches
  14. For j=1 to b.Count
  15. If Len(b(j))>0 then
  16. if instr(1,RefererUrl, "google" ,1) then
  17. GetSearchKeyword=Trim(U8Decode(b(j)))
  18. elseif instr(1,refererurl, "yahoo" ,1) then
  19. GetSearchKeyword=Trim(U8Decode(b(j)))
  20. elseif instr(1,refererurl, "yisou" ,1) then
  21. GetSearchKeyword=Trim(getkey(b(j)))
  22. elseif instr(1,refererurl, "3721" ,1) then
  23. GetSearchKeyword=Trim(getkey(b(j)))
  24. else
  25. GetSearchKeyword=Trim(getkey(b(j)))
  26. end if
  27. Exit Function
  28. end if
  29. Next
  30. End If
  31. if err then
  32. err.clear
  33. GetSearchKeyword = RefererUrl
  34. else
  35. GetSearchKeyword = ""
  36. end if
  37. End Function
      1. Function URLEncoding(vstrIn)
  39. dim strReturn,i,thischr
  40. strReturn = ""
  41. For i = 1 To Len(vstrIn)
  42. ThisChr = Mid(vStrIn,i,1)
  43. If Abs(Asc(ThisChr)) < &HFF Then
  44. strReturn = strReturn & ThisChr
  45. Else
  46. innerCode = Asc(ThisChr)
  47. If innerCode < 0 Then
  48. innerCode = innerCode + &H10000
  49. End If
  50. Hight8 = (innerCode And &HFF00)\ &HFF
  51. Low8 = innerCode And &HFF
  52. strReturn = strReturn & "%" & Hex(Hight8) & "%" & Hex(Low8)
  53. End If
  54. Next
  55. URLEncoding = strReturn
  56. End Function
  57. function getkey(key)
  58. dim oReq
  59. set oReq = CreateObject( "MSXML2.XMLHTTP" )
  60. oReq.open "POST" , "http://" &WebUrl "/system/ShowGb2312XML.asp?a=" &key,false
  61. oReq.send
  62. getkey=UTF2GB(oReq.responseText)
  63. end function
  64. function chinese2unicode(Str)
  65. dim i
  66. dim Str_one
  67. dim Str_unicode
  68. for i=1 to len(Str)
  69. Str_one=Mid(Str,i,1)
  70. Str_unicode=Str_unicode&chr(38)
  71. Str_unicode=Str_unicode&chr(35)
  72. Str_unicode=Str_unicode&chr(120)
  73. Str_unicode=Str_unicode& Hex(ascw(Str_one))
  74. Str_unicode=Str_unicode&chr(59)
  75. next
  76. Response.Write Str_unicode
  77. end function
    1. function UTF2GB(UTFStr)
  79. Dim dig,GBSTR
  80. for Dig=1 to len(UTFStr)
  81. if mid(UTFStr,Dig,1)= "%" then
  82. if len(UTFStr) >= Dig+8 then
  83. GBStr=GBStr & ConvChinese(mid(UTFStr,Dig,9))
  84. Dig=Dig+8
  85. else
  86. GBStr=GBStr & mid(UTFStr,Dig,1)
  87. end if
  88. else
  89. GBStr=GBStr & mid(UTFStr,Dig,1)
  90. end if
  91. next
  92. UTF2GB=GBStr
  93. end function
      1. function ConvChinese(x)
  95. dim a,i,j,DigS, Unicode
  96. A=split(mid(x,2), "%" )
  97. i=0
  98. j=0
    1. for i=0 to ubound(A)
  100. A(i)=c16to2(A(i))
  101. next
    1. for i=0 to ubound(A)-1
  103. DigS=instr(A(i), "0" )
  104. Unicode = ""
  105. for j=1 to DigS-1
  106. if j=1 then
  107. A(i)=right(A(i),len(A(i))-DigS)
  108. Unicode = Unicode & A(i)
  109. else
  110. i=i+1
  111. A(i)=right(A(i),len(A(i))-2)
  112. Unicode = Unicode & A(i)
  113. end if
  114. next
    1. if len(c2to16( Unicode ))=4 then
  116. ConvChinese=ConvChinese & chrw(int( "&H" & c2to16( Unicode )))
  117. else
  118. ConvChinese=ConvChinese & chr(int( "&H" & c2to16( Unicode )))
  119. end if
  120. next
  121. end function
    1. function U8Decode(enStr)
  123. '输入一堆有%分隔的字符串，先分成数组，根据utf8规则来判断补齐规则
  124. '输入:关 E5 85 B3 键 E9 94 AE 字 E5 AD 97
  125. '输出:关 B9D8 键 BCFC 字 D7D6
  126. dim c,i,i2,v,deStr,WeiS
    1. for i=1 to len(enStr)
  128. c=Mid(enStr,i,1)
  129. if c= "%" then
  130. v=c16to2(Mid(enStr,i+1,2))
  131. '判断第一次出现0的位置，
  132. '可能是1(单字节)，3(3-1字节)，4，5，6，7不可能是2和大于7
  133. '理论上到7，实际不会超过3。
  134. WeiS=instr(v, "0" )
  135. v=right(v,len(v)-WeiS) '第一个去掉最左边的WeiS个
  136. i=i+3
  137. for i2=2 to WeiS-1
  138. c=c16to2(Mid(enStr,i+1,2))
  139. c=right(c,len(c)-2) '其余去掉最左边的两个
  140. v=v & c
  141. i=i+3
  142. next
  143. if len(c2to16(v)) =4 then
  144. deStr=deStr & chrw(c2to10(v))
  145. else
  146. deStr=deStr & chr(c2to10(v))
  147. end if
  148. i=i-1
  149. else
  150. if c= "+" then
  151. deStr=deStr " "
  152. else
  153. deStr=deStr&c
  154. end if
  155. end if
  156. next
  157. U8Decode = deStr
  158. end function
    1. function c16to2(x)
  160. '这个函数是用来转换16进制到2进制的，可以是任何长度的，一般转换UTF-8的时候是两个长度，比如A9
  161. '比如：输入“C2”，转化成“11000010”,其中1100是"c"是10进制的12（1100），那么2（10）不足4位要补齐成（0010）。
  162. dim tempstr
  163. dim i:i=0 '临时的指针
    1. for i=1 to len(trim(x))
  165. tempstr= c10to2(cint(int( "&h" & mid(x,i,1))))
  166. do while len(tempstr)<4
  167. tempstr= "0" & tempstr '如果不足4位那么补齐4位数
  168. loop
  169. c16to2=c16to2 & tempstr
  170. next
  171. end function

ASP/Visual Basic Code 复制内容到剪贴板

  1. function c2to16(x)
  2. '2进制到16进制的转换，每4个0或1转换成一个16进制字母，输入长度当然不可能不是4的倍数了
    1. dim i:i=1 '临时的指针
  4. for i=1 to len(x) step 4
  5. c2to16=c2to16 & hex(c2to10(mid(x,i,4)))
  6. next
  7. end function
    1. function c2to10(x)
  9. '单纯的2进制到10进制的转换，不考虑转16进制所需要的4位前零补齐。
  10. '因为这个函数很有用！以后也会用到，做过通讯和硬件的人应该知道。
  11. '这里用字符串代表二进制
  12. c2to10=0
  13. if x= "0" then exit function '如果是0的话直接得0就完事
  14. dim i:i=0 '临时的指针
  15. for i= 0 to len(x) -1 '否则利用8421码计算，这个从我最开始学计算机的时候就会，好怀念当初教我们的谢道建老先生啊！
  16. if mid(x,len(x)-i,1)= "1" then c2to10=c2to10+2^(i)
  17. next
  18. end function
    1. function c10to2(x)
  20. '10进制到2进制的转换
  21. dim sign, result
  22. result = ""
  23. '符号
  24. sign = sgn(x)
  25. x = abs(x)
  26. if x = 0 then
  27. c10to2 = 0
  28. exit function
  29. end if
  30. do until x = "0"
  31. result = result & (x mod 2)
  32. x = x \ 2
  33. loop
  34. result = strReverse(result)
  35. if sign = -1 then
  36. c10to2 = "-" & result
  37. else
  38. c10to2 = result
  39. end if
  40. end function
    1. function URLDecode(enStr)
  42. dim deStr,strSpecial
  43. dim c,i,v
  44. deStr= ""
  45. strSpecial= "!" "#$%&'()*+,/:;<=>?@[\]^`{ |}~%"
  46. for i=1 to len(enStr)
  47. c=Mid(enStr,i,1)
  48. if c= "%" then
  49. v=eval( "&h" +Mid(enStr,i+1,2))
  50. if inStr(strSpecial,chr(v))>0 then
  51. deStr=deStr&chr(v)
  52. i=i+2
  53. else
  54. v=eval( "&h" +Mid(enStr,i+1,2)+Mid(enStr,i+4,2))
  55. deStr=deStr&chr(v)
  56. i=i+5
  57. end if
  58. else
  59. if c= "+" then
  60. deStr=deStr " "
  61. else
  62. deStr=deStr&c
  63. end if
  64. end if
  65. next
  66. URLDecode=deStr
  67. end function

许多代码都是网上的.找不到作者.

PS:现在暑假就要接受,由于家庭原因我不想留在我的城市.中考到达本地重点.不想说城市名字.否则会招来熟人.只要不在山东的学校算是重点的能不能联系下.

对程序有极大兴趣,但信息奥赛只活得一等的X名.因为我认为技术不应该在所谓竞赛中体现,就如才能不应该在那些无意义的考试中体现一样.电子作品也弄了各省一等..不过也一般.学习一般...所以只要是一般重点就好了..只是不想在离家太近的地方.

现在asp十分熟练,虽然有些知识缺陷,比如编码问题(汗...),但是网络如此大,我想我不是只有在课本中才能得到所谓的知识.而且现在正在啃asp.net的书,如果贵校做网站完全可以帮忙.

对新技术十分狂热,虽然被他们称为审美有障碍的人.但我想看到结构偶的程序还不至于吐血.

算了..再贴点.

偶开发D Database+asp ->xml+xslt->xhtml +css 的算是叫CMS的东西

http://www.joysou.com

也用了CSDN用的FCK编辑器,今天上来才发现换了.不过那个FCK的FIle系统让偶统统改掉.

这个系统在暑假结束前一定会发布.不过很多朋友说易用性有问题...很多人不会xslt.汗...

Published At
Categories with Web编程
Tagged with
comments powered by Disqus