实战类别之天气预报实时收集

《浪潮之巅》是现年的新书,可是网络版在07年就起始在Google黑板报上连载。由于IT业的节拍本来比较快,加上08年金融危机加速了IT业的生成,本书出版的时候作者对网络版做了不少改动和互补。

第三次:

 

亮点是:找到就调用,什么也不用管,菜鸟也能飞。

 

3:分析html,收缩范围,对于一大堆html,大家只要这一局部

《浪潮之巅》另外一个特性就是良莠不齐在书中的或者独立成章专门讲述的商贸逻辑的解析。同样出于作者所在的冲天,作者能够一向与广大U.S.IT业大佬直接关系,许多IT业的商业方面的看法比自己原先看过的更客观,比如对摩托罗拉为什么衰落,分析的很透彻。

图片 1图片 2

 

2:采集类,一个好的采集类,事半功倍,以下出一个简化版,充足采集天气音信

 

2:读不到缓存就现采了,调用采集类

 

 

这本书是自己看过的第四本IT历史书。前三本是《IT通史》《IT史记》《沸腾15年》。前两本没看完,很相像。头绪太多,相比较散乱(第二本是方兴东写的)。《沸腾15年》还不错,写中国互联网15年以来的政工。这三本都是编年体。把每年的工作逐个叙述。《浪潮之巅》是传记体,通过给许多大商家写传来叙述整个IT业的迈入脉络,忽略了过多小企业、小事变,结果就是整本书显得很有系统。

        }

另外是因为作者的技巧背景,对书中涉嫌到的大部分技艺问题,都能诠释的相比清楚。假使没有技术背景的写手,略微深入的题目就便于出错。

                if (HttpContext.Current.Cache.Get(yesterdayKey)!=null)
                {
                    HttpContext.Current.Cache.Remove(yesterdayKey);
                }

书中立传的营业所大多都是同胞耳熟能详的。书中尽管关乎到许多技术细节,我觉着不领悟可以跳过,不妨碍对本书的接头。从这多少个角度来说,这本书显明有身份像吴晓波《大捷局》一样成为MBA教材。

if (string.IsNullOrEmpty(html)) { return null; }
                //缩短范围
                html = GatherHelper.GetContent(html, “<div class=\”w_main\”>”, “</div>”, 1);
                if (string.IsNullOrEmpty(html)) { return null; }

笔者是google科学家,当前google中日爱沙尼亚语搜索算法的重大设计者。二〇一〇年进入腾讯。

这边都会要用中文编码传过去,至于url,是本身意识的最精简的参数,现在已把搜搜的寻找页面的全html抓回去了,接下去就是分手出想要的信息。

 

  public class WeatherInfo
    {
        private string imgUrl;
        /// <summary>
        /// 天气图片地址
        /// </summary>
        public string ImgUrl
        {
            get { return imgUrl; }
            set { imgUrl = value; }
        }
        private string wind;
        /// <summary>
        /// 天气风力
        /// </summary>
        public string Wind
        {
            get { return wind; }
            set { wind = value; }
        }
        private string cityName;
        /// <summary>
        /// 天气城市称号
        /// </summary>
        public string CityName
        {
            get { return cityName; }
            set { cityName = value; }
        }
        private string temperature;
        /// <summary>
        /// 天气温度
        /// </summary>
        public string Temperature
        {
            get { return temperature; }
            set { temperature = value; }
        }
        private string description;
        /// <summary>
        /// 天气表明
        /// </summary>
        public string Description
        {
            get { return description; }
            set { description = value; }
        }

 

 

 

                //说明
                weather.Description = GatherHelper.GetContent(html, “<span class=\”w_w\”>”, “</span>”, 1);
                //图片
                weather.ImgUrl = GatherHelper.GetContent(html, “<img src=\””, “\””, 1);
               
                //风向
                weather.Wind=GatherHelper.GetContent(html, “title=\””, “\””, 1);

书的末尾作者对将来的IT业大趋势也有部分私房的判断。作者认为手机业、亚太地区的电子商务有可能出现下一个市值上千亿的商店。国内的商店作者看好Alibaba和腾讯。

    }

 

今天
CYQ.Data 框架  框架群里,“路过春天”问了个天气预报的题材,问何地有webservice调用?于是随性就有了这篇著作了。

本书提到了很多IT界的逸闻轶事,也辟谣了部分不实传闻,由于作者的职位、经历,我以为书中的叙述相对相比可信。

 protected void Page_Load(object sender, EventArgs e)
    {
        WeatherInfo info = WeatherSearch.Get(“广州”);
        if (info != null)
        {
            litCity.Text = info.CityName;
            litDescprtion.Text = info.Description;
            imgUrl.ImageUrl = info.ImgUrl;
            litWind.Text = info.Wind;
            litTemperature.Text=info.Temperature;
        }
    }

这本书是自我如今看过的第三本写作水平空前的想望不要绝后的书。前两本是《圈子圈套》和《侯卫东官场笔记》。这三本书的同步特征是:作者曾经或者还站在时代大潮的高点,得以有相比较乐天的视野,并且愿意把温馨的感受、体会写出来。具体到这本书,作者的优势在于:明白具体的IT技术,熟稔IT业纷繁复杂的风波幕后暗含的买卖逻辑,其余由于地方的原故,视野比较乐观。概括来说就是中度、深度(IT、商业)与广度上超越大部分的IT书的撰稿人或者IT业记者。

我们采用GetContent方法可以分外便利的压缩范围,只要找到唯一的苗头标签和得了标签,不会正则,也同等截取。

书中写到了好多小店铺战胜大商家的例子,作者也交给了原委。但是我觉得《革新者的困境》对这一个现象的下结论与分析更胜一筹,因为作者发现那些情景不光在IT业出现,传统的创制业如挖掘机创造、炼钢厂也出现了这个场景。

IE6好卡,鼠标又发疯,单击双击混在同步,本文写起来好劳累~~

 

说明:

这种做法很困苦,每日要开后台采数据,做成活动的,还要不半路程序自动死亡才行,而且数据库会生出大堆垃圾过时的数额。

 

图片 3图片 4

 

    /// <summary>
    /// 作者:路过秋季
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class WeatherSearch
    {
        /// <summary>
        /// 数据搜集来源于腾信搜搜天气预报
        /// </summary>
        /// <param name=”cityName”></param>
        /// <returns></returns>
        public static WeatherInfo Get(string cityName)
        {
              //待实现
        }

 

采访一遍后,记得缓存起来,不然老是访问都现采,刷刷就被soso给封了,切身经历啊。

第二次:

                //温度
                weather.Temperature = GatherHelper.GetContent(html, “/> <span>”, “<em>”, 1);

 if (weather == null)
  {
                weather = new WeatherInfo();
                weather.CityName = cityName;
                cityName = System.Web.HttpUtility.UrlEncode(cityName + “天气”, Encoding.GetEncoding(“gb2312”));
                string url = “http://www.soso.com/q?num=1&w=” + cityName;

比如腾讯soso,如下图。当然还有其他众多浩大,只要看收获的,都得以采,可是最好找大站,稳定。

 

 

 

 

温馨做毕业设计,都没采访后台,自己又写不出采集来,没多少读了,只可以四处百度找寻“天气预报Webservice”调用。

天气预报,记忆中做过那么三回。

 

<!–下边的被概括–>
<div class=”w_main”>
                                            <ol>
                                                <li class=”w_space” title=”北风4-5级”><span>今天(周五)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>21 / 28<em>°</em>C</span><span class=”w_w”>多云转阵雨</span> </li>
                                                <li title=”北风3-4级”><span>明天(周六)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a3.png” onload=”setPng(this,48,48)” />
                                                    <span>22 / 28<em>°</em>C</span><span class=”w_w”>多云转阵雨</span> </li>
                                                <li title=”微风”><span>后天(周日)</span>
                                                    <img src=”http://cache.soso.com/zdq/wea/s\_a33.png” onload=”setPng(this,48,48)” />
                                                    <span>18 / 29<em>°</em>C</span><span class=”w_w”>多云</span> </li>
                                            </ol>
</div>
<!–下边的也被概括–>

 

 

        public static WeatherInfo Get(string cityName)//普通话城市称号
        {
            if (string.IsNullOrEmpty(cityName))
            {
                return null;
            }
            string todayKey = cityName + DateTime.Now.ToString(“yyyyMMdd”);
            WeatherInfo weather = GetFormCache(cityName, todayKey);
            if (weather == null)
            {
                //待实现
            }
        }

4:使用GetContent步步截取所急需消息

图片 5图片 6

最后结言:

着重表达:

图片 7

 

 

这种做法也很苦闷,首先Webservice不好找,第二找到的比方小站提供的,随时又会挂掉了,尽管住家挂掉,你要另找一个?

图片 8图片 9

 

B:Get函数分解:

 

1:先读取缓存,注意缓存Key用日期做key,可以一本万利缓存前日和删除明日的缓存。

图片 10图片 11

先是次的做法是:

A:新建采集天气预报类:WeatherSearch

 

总结:

图片 12图片 13

再不济手动复制-》“此文不错,值的推荐”!!

        #region 内容截取分析
        /// <summary>
        /// 再次回到遵照情节起初及竣工代码分析出内容
        /// </summary>
        /// <param name=”ContentCode”>内容代码</param>
        /// <param name=”StartCode”>内容所在起初代码</param>
        /// <param name=”EndCode”>内容所在停止代码</param>
        /// <param name=”index”>取第几条[从1开始]</param>
        /// <returns></returns>
        public static string GetContent(string contentCode, string startCode, string endCode, int index)
        {
            string[] matchItems = null;
            return GetContent(contentCode, startCode, endCode, index, out matchItems);
        }
        public static string GetContent(string contentCode, string startCode, string endCode, int index, out string[] matchItems)
        {
            matchItems = null;
            if (string.IsNullOrEmpty(startCode) && string.IsNullOrEmpty(endCode))
            {
                return contentCode;
            }
            Regex regObj = new Regex(startCode + @”([\S\s]*?)” + endCode, RegexOptions.Compiled | RegexOptions.IgnoreCase);
            MatchCollection matchItemList = regObj.Matches(contentCode);
            if (matchItemList != null && matchItemList.Count >= index)
            {
                matchItems = new string[matchItemList.Count];
                for (int i = 0; i < matchItemList.Count; i++)
                {
                    matchItems[i] = matchItemList[i].Groups[1].Value;
                }
                index = index > 0 ? index – 1 : 0;
                return matchItemList[index].Groups[1].Value;
            }
            return string.Empty;
        }
        #endregion
    }
}

6:调用结果

以下介绍现采现显的兑现模式

图片 14图片 15

3:编写天气预报实体类,将采集的音讯以实体再次回到,假使采集多个,重临就是List<实体>了

本文示例下载地址:CYQ.Data 轻量数据层之路
bug反馈、优化提出、最新框架下载

5:界面调用

图片 16图片 17

图片 18图片 19

总结:

可取是:可以搜集很多音信,做成很正规的气候预报站,这时候做旅游站,天气也是关键模块,所以这种艺术也很贴切。

 

4:编写采集Soso的气象预报类

例如百度,你寻找城市如广州,即会冒出气象消息了,如图:

 

                //采集所有html
                string html = GatherHelper.GetHtmlCode(url, Encoding.GetEncoding(“gb2312”));
                //接下来待实现
  }

 

5:存入缓存并免除今日的缓存消息[看需要出示几天的信息了]

说明:

图片 20

缺陷是:数据量少,不可能做能专业性天气预报站。

                HttpContext.Current.Cache.Insert(todayKey, weather);
                string yesterdayKey = cityName + DateTime.Now.AddDays(-1).ToString(“yyyyMMdd”);

 

可取是:不用和数据库打交道,现采现显,裁减数据库压力,速度快,每日只采一回,丁点音信,缓存即可。对于天气只是装饰性的极适用。

 

图片 21

namespace CYQ.Tool
{
    /// <summary>
    /// 作者:路过夏季
    /// 博客:http://cyq1162.cnblogs.com
    /// </summary>
    public class GatherHelper
    {
        /// <summary>
        /// 重回获取的靶子地址HTML全体代码
        /// </summary>
        /// <param name=”strUrl”>目的地方</param>
        /// <returns></returns>
        public static string GetHtmlCode(string pageUrl, Encoding encoding)
        {
            try
            {
                //重返目的页HTML代码
                WebClient webclient = new WebClient();
                webclient.Credentials = CredentialCache.DefaultCredentials;
                byte[] buffer = webclient.DownloadData(pageUrl);
                string HtmlCode = encoding.GetString(buffer);
                webclient.Dispose();    //释放WebClient资源
                return HtmlCode;
            }
            catch
            {
                return string.Empty;
            }

技术老总写了个采访后台,每日早晚各采一回,从tq121站里采集大量的气候消息到数据库,我就间接从数据库里读数据了。

-_-…!!!

 

        private static WeatherInfo GetFormCache(string cityName,string key)
        {
            object weather = HttpContext.Current.Cache.Get(key);
            if (weather!=null)
            {
                return weather as WeatherInfo;
            }
            return null;
        }

1:既然要采,当然找到有天气预报的站了,这一个很好找,网上到处都是资源,只要你会采。

 

本博没有迅速评论通道,大伙积极点入手。

前言:

using System;
using System.Text;
using System.Net;
using System.Text.RegularExpressions;

是电子商务平台在首页呈现下天气,这时候刚好碰着刚做完web版的搜集系统,于是顺理直接选取搜集类库现采现显。

总结:

Leave a Comment.