AngularJSAngularJS 解决 SEO 问题

出于 AngularJS
返回的是HTML模板,实际的内容要实践JS以后才会填充进来,导致百度抓到手蜘蛛抓匪顶,因此有了
AngularJS 的 SEO
问题。经过几上的研究试验,我们的化解方案是这么的:在后台做一个 PhantomJS
服务,判断是百度蜘蛛的呼吁后,就把要转发让
PhantomJS,由她来分解实施JS,并赶回输出为百度蜘蛛。
下面详细说一下现实贯彻:
后端的型采用PHP的Zend1框架写的,只用于提供数据接口,前端采用AngularJS1。项目布局在Ubuntu上之Apache上面的。

去掉URL中的“#”

由于 AngularJS 的原因,生成的 URL
中带有“#”,AngularJS需要经“#”后面的有来展开页面路由,但百度蜘蛛看不到URL中#事后的片,所以首先步就是是错过掉
URL中之 “#”。
js/config/reoute.js 中流入 $locationProvider
对象,$locationProvider需要页面指定<base>途径,这样失去丢了#以后能能科学加载js,css文件。

.config(['$stateProvider', '$urlRouterProvider','$httpProvider','$locationProvider',
    function($stateProvider,$urlRouterProvider,$httpProvider,$locationProvider){
        // ...
        $locationProvider.html5Mode(true);

下一场是index.html,这是重要的沙盘,js,css路径是对立于<base>的。

<html>
// ...
<head>
    <script type="text/javascript" src="/dist/js/vendor.js"></script>
    <script type="text/javascript" src="/dist/js/app.js?v=1.0.3"></script>

    <base href="/">
</head>
<body>

请求404的问题

取消”#”之后,可以让百度蜘蛛直接看我们的每个页面了,请求来了,判定为百度蜘蛛,则转向让
PhantomJS
来处理,但问题啊起了,用户正常的拜会也变成了404!这是坐URL中“#”后面的有是AngularJS设定的路由规则,跟自身后端没有另外涉及,所以会转移到404,并赶回了。
解决办法就是重新写.htaccess规则,让404靠于index.html,这样就是以倒前头端路由于了。进入正规的前端路由,发送
ajax 请求后端数据重复展开页面渲染。
.htaccess文件如下,放/public/根目录下:

RewriteEngine On

 RewriteCond %{REQUEST_FILENAME} -s [OR]
 RewriteCond %{REQUEST_FILENAME} -l [OR]
 RewriteCond %{REQUEST_FILENAME} -d
 RewriteRule ^.*$ - [NC,L]

RewriteRule ^ /index.html

设明白原php项目配置中凡凭借于index.php的。改化这更写规则,就闹一个初题材,php框架的进口文件index.php也在/public/目录下面,当前端发送ajax请求时,默认接收请求的凡index.html,而非是index,php,这虽造成ajax请求无法到达。
以事先没有去丢“#”的时候,访问http://www.xxx.com/\#/path/sss,请求只到达http://www.xxx.com,重定向到index.html,然后AngularJS读取history对象获得URL,进行路由控制,发出ajax请求(http://www.xxx.com/path/sss),进入index.php,返回相应数据。
咱们的解决办法就是将前端项目与后端项目分离出来,前端项目因此原始的域名:http://www.xxx.com,而后端项目用:http://api.xxx.com,这样,后端php默认指向index.php,前端项目默认指向index.html。需要在apache中设置一下跨域可访问。为了方便部署,直接把前端项目命名为angular并放在public目录下面,实际上这是两个项目。
前者项目

<VirtualHost *:80>
    ServerName www.xxx.com
    DocumentRoot /path/xxx/public/angular
    DirectoryIndex index.html
    <Directory /path/xxx/public/angular>
    AllowOverride all
    require all granted
    </Directory>
</VirtualHost>

后端项目

<VirtualHost *:80>
    ServerName api.xxx.com
    DocumentRoot /path/xxx/public/
    DirectoryIndex index.php
        Header set Access-Control-Allow-Origin "http://www.xxx.com"
        Header set Access-Control-Allow-Credentials true
    <Directory /path/xxx/public/>
    AllowOverride all
    require all granted
    </Directory>
</VirtualHost>

至目前为止,“#”去丢了,用户也会正常访问了,下面就处理抓取了。

搭建后端js环境

首先,angular项目中.htaccess需要加上几推行,变成这样:

RewriteEngine On

 RewriteCond %{REQUEST_FILENAME} -s [OR]
 RewriteCond %{REQUEST_FILENAME} -l [OR]
 RewriteCond %{REQUEST_FILENAME} -d
 RewriteRule ^.*$ - [NC,L]

RewriteCond %{HTTP_USER_AGENT} baiduspider|Googlebot|facebookexternalhit|twitterbot|rogerbot|linkedinbot|embedly|showyoubot|outbrain|pinterest|slackbot|vkShare|W3C_Validator|Bingbot|360Spider|Yisouspider|Sogouspider [NC]
RewriteRule (.*) http://seo.xxx.com/url/http://www.xxx.com/$1 [P,L]

RewriteRule ^ /index.html

表示要请来自搜索引擎蜘蛛,则重定向http://seo.xxx.com。我们在这个域名上部署了一个
PhantomJS 服务。

先弄node环境:

var express = require('express')
var app = express()
app.get('/url/http://*', function (req, res) {
    var content = '';
    var ourl = req.params[0];
    if(!(ourl.indexOf('.css')>-1 || ourl.indexOf('.js')>-1 ||ourl.indexOf('.png')>-1)){
        var url = "http://"+req.params[0].replace('_','#');
        var exec = require('child_process').exec, last = exec('casperjs casperjs_process.js '+url);
        last.stdout.on('data', function (data) {
            content += data;
        });
        last.on('exit', function (code) {
            res.send(content);
        });
    }
})
app.listen('3000','127.0.0.1');

再弄 PhantomJS 服务

var casper = require('casper').create(
    {
        pageSettings: {
            loadImages: false,
            loadPlugins: true,
            userAgent: 'Mozilla/5.0.8 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER'
        },
        logLevel: "debug",//日志等级
        verbose: false, // 记录日志到控制台
        waitTimeout:5000
    }
);
var url = casper.cli.get(0);
casper.start(url, function() {});
casper.waitForSelector('.ajax-end', function() {});
casper.then(function(){
    this.echo(this.getPageContent());
});
casper.run();

这个服务会说施行有JS然后返回带有内容HTML响应数据被百度蜘蛛。

相关文章