Should there be a robots.txt for Objavi as well? Since currently you can find those manual versions hanging there with Google. <div><br></div><div>Like this one: <a href="http://objavi.booki.cc/books/audacityopas-en-2012.03.23-10.46.09/index.html">http://objavi.booki.cc/books/audacityopas-en-2012.03.23-10.46.09/index.html</a><br>

<br><div class="gmail_quote">2012/6/12 Daniel James <span dir="ltr"><<a href="mailto:daniel.james@sourcefabric.org" target="_blank">daniel.james@sourcefabric.org</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hi Adam,<br>
<div class="im"><br>
> want to take a pass at writing a good robots.txt daniel?<br>
<br>
</div>For <a href="http://www.flossmanuals.net" target="_blank">www.flossmanuals.net</a> we could perhaps go with a simple:<br>
<br>
User-agent: *<br>
Allow: /index.html<br>
Disallow: /<br>
<br>
where index.html is the multilingual portal page, which of course we<br>
want people to find. Then we'd need to add a rewrite rule in the Apache<br>
config for <a href="http://www.flossmanuals.net" target="_blank">www.flossmanuals.net</a>, something like (untested):<br>
<br>
RewriteEngine on<br>
RewriteCond %{REQUEST_URI} !/index.html<br>
RewriteRule ^(.*)$ <a href="http://en.flossmanuals.net/$1" target="_blank">http://en.flossmanuals.net/$1</a> [L,R=301]<br>
<br>
For <a href="http://booki.flossmanuals.net" target="_blank">booki.flossmanuals.net</a> the situation is more complex because some<br>
manuals are meant to be hidden. We could either have the 'hide' buttons<br>
in My Manuals manipulate a robots.txt file, or use the noindex meta tag<br>
for all hidden pages:<br>
<br>
<meta name="robots" content="noindex" /><br>
<br>
The problem I forsee is that once a page URL is listed in search<br>
engines, switching it to 'noindex' could take a long time to become<br>
effective. So people who want to hide their work-in-progress should<br>
probably be prompted to do that from the start.<br>
<br>
Cheers!<br>
<span class="HOEnZb"><font color="#888888"><br>
Daniel<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
Discuss mailing list<br>
<a href="mailto:Discuss@lists.flossmanuals.net">Discuss@lists.flossmanuals.net</a><br>
<a href="http://lists.flossmanuals.net/listinfo.cgi/discuss-flossmanuals.net" target="_blank">http://lists.flossmanuals.net/listinfo.cgi/discuss-flossmanuals.net</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Best Regards<br>Tomi Toivio<br>Open Source Coordinator<br><a href="http://fi.flossmanuals.net/" target="_blank">http://fi.flossmanuals.net/</a><br>

<a href="mailto:tomi@flossmanuals.net" target="_blank">tomi@flossmanuals.net</a><br><font face="Verdana" size="0"><font face="Verdana">+358453536625</font></font><br>
</div>