Artifact
263ac0e518efa2078980d94a7fdf457fdf3411c1
Executable file
extroot/sitemap
— part of check-in
[94b31e1ce3]
at
2022-01-29 14:29:57
on branch trunk
— Generates sitemap.xml from wiki pages, doc files, technotes
(user:
mario
size: 2389)
0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 70 68 70 2d 63 #!/usr/bin/php-c
0010: 67 69 20 2d 64 63 67 69 2e 66 6f 72 63 65 5f 72 gi -dcgi.force_r
0020: 65 64 69 72 65 63 74 3d 30 0a 3c 3f 70 68 70 0a edirect=0.<?php.
0030: 23 20 65 6e 63 6f 64 69 6e 67 3a 20 75 74 66 2d # encoding: utf-
0040: 38 0a 23 20 61 70 69 3a 20 63 67 69 0a 23 20 74 8.# api: cgi.# t
0050: 79 70 65 3a 20 6f 75 74 70 75 74 0a 23 20 63 61 ype: output.# ca
0060: 74 65 67 6f 72 79 3a 20 74 65 6d 70 6c 61 74 65 tegory: template
0070: 0a 23 20 74 69 74 6c 65 3a 20 73 69 74 65 6d 61 .# title: sitema
0080: 70 2e 78 6d 6c 0a 23 20 64 65 73 63 72 69 70 74 p.xml.# descript
0090: 69 6f 6e 3a 20 47 65 6e 65 72 61 74 65 20 69 6e ion: Generate in
00a0: 64 65 78 69 6e 67 20 6c 69 73 74 20 66 6f 72 20 dexing list for
00b0: 73 65 61 72 63 68 20 65 6e 67 69 6e 65 73 0a 23 search engines.#
00c0: 20 76 65 72 73 69 6f 6e 3a 20 30 2e 31 0a 23 20 version: 0.1.#
00d0: 73 74 61 74 65 3a 20 62 65 74 61 0a 23 20 64 65 state: beta.# de
00e0: 70 65 6e 64 73 3a 20 70 68 70 3a 73 71 6c 69 74 pends: php:sqlit
00f0: 65 0a 23 20 63 6f 6e 66 69 67 3a 20 2d 0a 23 20 e.# config: -.#
0100: 61 63 63 65 73 73 3a 20 70 75 62 6c 69 63 0a 23 access: public.#
0110: 0a 23 20 43 72 61 66 74 73 20 61 20 73 69 74 65 .# Crafts a site
0120: 6d 61 70 2e 78 6d 6c 20 66 72 6f 6d 20 77 69 6b map.xml from wik
0130: 69 20 70 61 67 65 20 6c 69 73 74 2c 20 64 6f 63 i page list, doc
0140: 75 6d 65 6e 74 20 66 69 6c 65 73 2c 0a 23 20 72 ument files,.# r
0150: 65 63 65 6e 74 20 63 68 61 6e 67 65 73 2c 20 65 ecent changes, e
0160: 74 63 2e 0a 23 0a 23 20 59 6f 75 20 6d 69 67 68 tc..#.# You migh
0170: 74 20 68 61 76 65 20 74 6f 20 73 65 74 20 75 70 t have to set up
0180: 20 61 20 52 65 77 72 69 74 65 52 75 6c 65 20 6f a RewriteRule o
0190: 72 20 66 6f 73 73 69 6c 2d 61 6c 69 61 73 0a 23 r fossil-alias.#
01a0: 20 66 72 6f 6d 20 73 69 74 65 6d 61 70 2e 78 6d from sitemap.xm
01b0: 6c 20 74 6f 20 65 78 74 2f 73 69 74 65 6d 61 70 l to ext/sitemap
01c0: 20 28 62 65 63 61 75 73 65 20 74 68 65 20 65 78 (because the ex
01d0: 74 2f 20 70 72 65 66 69 78 0a 23 20 70 72 65 63 t/ prefix.# prec
01e0: 6c 75 64 65 73 20 6c 69 73 74 69 6e 67 20 6f 74 ludes listing ot
01f0: 68 65 72 20 73 65 63 74 69 6f 6e 73 20 65 6c 73 her sections els
0200: 65 29 2e 0a 23 0a 23 20 54 68 65 6e 20 61 64 64 e)..#.# Then add
0210: 20 61 20 60 72 6f 62 6f 74 73 2e 74 78 74 60 20 a `robots.txt`
0220: 65 6e 74 72 79 20 6c 69 6b 65 3a 0a 23 20 20 20 entry like:.#
0230: 53 69 74 65 6d 61 70 3a 20 2f 73 69 74 65 6d 61 Sitemap: /sitema
0240: 70 2e 78 6d 6c 0a 23 0a 23 20 4f 72 20 61 20 63 p.xml.#.# Or a c
0250: 72 6f 6e 20 6a 6f 62 20 74 6f 20 70 69 6e 67 3a ron job to ping:
0260: 0a 23 20 20 20 77 67 65 74 20 2d 53 20 68 74 74 .# wget -S htt
0270: 70 3a 2f 2f 64 75 63 6b 64 75 63 6b 67 6f 2e 63 p://duckduckgo.c
0280: 6f 6d 2f 70 69 6e 67 3f 73 69 74 65 6d 61 70 3d om/ping?sitemap=
0290: 68 74 74 70 3a 2f 2f 65 78 61 6d 70 6c 65 2e 6f http://example.o
02a0: 72 67 2f 73 69 74 65 6d 61 70 2e 78 6d 6c 0a 23 rg/sitemap.xml.#
02b0: 0a 0a 0a 0a 23 2d 2d 20 69 6e 69 74 0a 69 6e 63 ....#-- init.inc
02c0: 6c 75 64 65 28 22 2e 2f 66 6f 73 73 69 6c 5f 63 lude("./fossil_c
02d0: 6f 6d 6d 6f 6e 2e 70 68 70 22 29 3b 0a 68 65 61 ommon.php");.hea
02e0: 64 65 72 28 22 43 6f 6e 74 65 6e 74 2d 54 79 70 der("Content-Typ
02f0: 65 3a 20 74 65 78 74 2f 78 6d 6c 3b 20 69 6e 6c e: text/xml; inl
0300: 69 6e 65 22 29 3b 0a 69 6e 69 5f 73 65 74 28 22 ine");.ini_set("
0310: 64 69 73 70 6c 61 79 5f 65 72 72 6f 72 73 22 2c display_errors",
0320: 20 31 29 3b 0a 0a 23 20 68 65 61 64 0a 70 72 69 1);..# head.pri
0330: 6e 74 20 27 3c 3f 78 6d 6c 20 76 65 72 73 69 6f nt '<?xml versio
0340: 6e 3d 22 31 2e 30 22 20 65 6e 63 6f 64 69 6e 67 n="1.0" encoding
0350: 3d 22 55 54 46 2d 38 22 3f 3e 0a 3c 75 72 6c 73 ="UTF-8"?>.<urls
0360: 65 74 20 78 6d 6c 6e 73 3d 22 68 74 74 70 3a 2f et xmlns="http:/
0370: 2f 77 77 77 2e 73 69 74 65 6d 61 70 73 2e 6f 72 /www.sitemaps.or
0380: 67 2f 73 63 68 65 6d 61 73 2f 73 69 74 65 6d 61 g/schemas/sitema
0390: 70 2f 30 2e 39 22 3e 0a 27 3b 0a 0a 23 20 70 61 p/0.9">.';..# pa
03a0: 67 65 73 0a 6c 6f 6f 70 28 0a 20 20 20 20 64 62 ges.loop(. db
03b0: 28 22 0a 20 20 20 20 20 20 20 20 53 45 4c 45 43 (". SELEC
03c0: 54 20 53 55 42 53 54 52 28 74 61 67 6e 61 6d 65 T SUBSTR(tagname
03d0: 2c 20 36 29 20 41 53 20 6e 61 6d 65 2c 20 44 41 , 6) AS name, DA
03e0: 54 45 28 4d 41 58 28 6d 74 69 6d 65 29 29 20 41 TE(MAX(mtime)) A
03f0: 53 20 64 61 74 65 74 69 6d 65 0a 20 20 20 20 20 S datetime.
0400: 20 20 20 46 52 4f 4d 20 74 61 67 20 4c 45 46 54 FROM tag LEFT
0410: 20 4a 4f 49 4e 20 74 61 67 78 72 65 66 20 4f 4e JOIN tagxref ON
0420: 20 74 61 67 2e 74 61 67 69 64 3d 74 61 67 78 72 tag.tagid=tagxr
0430: 65 66 2e 74 61 67 69 64 0a 20 20 20 20 20 20 20 ef.tagid.
0440: 20 57 48 45 52 45 20 74 61 67 6e 61 6d 65 20 4c WHERE tagname L
0450: 49 4b 45 20 27 77 69 6b 69 2d 25 27 20 47 52 4f IKE 'wiki-%' GRO
0460: 55 50 20 42 59 20 6e 61 6d 65 20 4f 52 44 45 52 UP BY name ORDER
0470: 20 42 59 20 64 61 74 65 74 69 6d 65 20 44 45 53 BY datetime DES
0480: 43 3b 0a 20 20 20 20 22 29 2c 0a 20 20 20 20 22 C;. "),. "
0490: 77 69 6b 69 2f 22 2c 20 22 64 61 69 6c 79 22 2c wiki/", "daily",
04a0: 20 22 30 2e 35 22 0a 29 3b 0a 6c 6f 6f 70 28 0a "0.5".);.loop(.
04b0: 20 20 20 20 64 62 28 22 0a 20 20 20 20 20 20 20 db(".
04c0: 20 53 45 4c 45 43 54 20 53 55 42 53 54 52 28 74 SELECT SUBSTR(t
04d0: 61 67 6e 61 6d 65 2c 20 37 29 20 41 53 20 6e 61 agname, 7) AS na
04e0: 6d 65 2c 20 44 41 54 45 28 4d 41 58 28 6d 74 69 me, DATE(MAX(mti
04f0: 6d 65 29 29 20 41 53 20 64 61 74 65 74 69 6d 65 me)) AS datetime
0500: 0a 20 20 20 20 20 20 20 20 46 52 4f 4d 20 74 61 . FROM ta
0510: 67 20 4c 45 46 54 20 4a 4f 49 4e 20 74 61 67 78 g LEFT JOIN tagx
0520: 72 65 66 20 4f 4e 20 74 61 67 2e 74 61 67 69 64 ref ON tag.tagid
0530: 3d 74 61 67 78 72 65 66 2e 74 61 67 69 64 0a 20 =tagxref.tagid.
0540: 20 20 20 20 20 20 20 57 48 45 52 45 20 74 61 67 WHERE tag
0550: 6e 61 6d 65 20 4c 49 4b 45 20 27 65 76 65 6e 74 name LIKE 'event
0560: 2d 25 27 20 47 52 4f 55 50 20 42 59 20 6e 61 6d -%' GROUP BY nam
0570: 65 20 4f 52 44 45 52 20 42 59 20 64 61 74 65 74 e ORDER BY datet
0580: 69 6d 65 20 44 45 53 43 3b 0a 20 20 20 20 22 29 ime DESC;. ")
0590: 2c 0a 20 20 20 20 22 74 65 63 68 6e 6f 74 65 2f ,. "technote/
05a0: 22 0a 20 20 20 20 2c 20 22 77 65 65 6b 6c 79 22 ". , "weekly"
05b0: 2c 20 22 30 2e 32 22 0a 29 3b 0a 23 20 66 69 6c , "0.2".);.# fil
05c0: 65 73 20 2a 2e 6d 64 0a 6c 6f 6f 70 28 0a 20 20 es *.md.loop(.
05d0: 20 20 64 62 28 22 0a 20 20 20 20 20 20 20 53 45 db(". SE
05e0: 4c 45 43 54 20 6e 61 6d 65 2c 20 44 41 54 45 28 LECT name, DATE(
05f0: 4d 41 58 28 65 2e 6d 74 69 6d 65 29 29 20 41 53 MAX(e.mtime)) AS
0600: 20 64 61 74 65 74 69 6d 65 0a 20 20 20 20 20 20 datetime.
0610: 20 46 52 4f 4d 20 66 69 6c 65 6e 61 6d 65 0a 20 FROM filename.
0620: 20 20 20 20 20 20 20 20 20 4c 45 46 54 20 4a 4f LEFT JO
0630: 49 4e 20 6d 6c 69 6e 6b 20 6d 20 4f 4e 20 6d 2e IN mlink m ON m.
0640: 66 6e 69 64 20 3d 20 66 69 6c 65 6e 61 6d 65 2e fnid = filename.
0650: 66 6e 69 64 0a 20 20 20 20 20 20 20 20 20 20 4c fnid. L
0660: 45 46 54 20 4a 4f 49 4e 20 65 76 65 6e 74 20 65 EFT JOIN event e
0670: 20 4f 4e 20 65 2e 6f 62 6a 69 64 20 3d 20 6d 2e ON e.objid = m.
0680: 6d 69 64 0a 20 20 20 20 20 20 20 57 48 45 52 45 mid. WHERE
0690: 20 6e 61 6d 65 20 4c 49 4b 45 20 27 25 2e 6d 64 name LIKE '%.md
06a0: 27 20 4f 52 20 6e 61 6d 65 20 4c 49 4b 45 20 27 ' OR name LIKE '
06b0: 25 2e 77 69 6b 69 27 20 2d 2d 52 45 47 45 58 50 %.wiki' --REGEXP
06c0: 20 27 5c 2e 28 6d 64 7c 77 69 6b 69 7c 72 73 74 '\.(md|wiki|rst
06d0: 29 24 27 0a 20 20 20 20 20 20 20 47 52 4f 55 50 )$'. GROUP
06e0: 20 42 59 20 6e 61 6d 65 0a 20 20 20 20 20 20 20 BY name.
06f0: 48 41 56 49 4e 47 20 66 69 64 20 3c 3e 20 30 0a HAVING fid <> 0.
0700: 20 20 20 20 20 20 20 4f 52 44 45 52 20 42 59 20 ORDER BY
0710: 64 61 74 65 74 69 6d 65 20 44 45 53 43 0a 20 20 datetime DESC.
0720: 20 20 22 29 2c 0a 20 20 20 20 22 64 6f 63 2f 74 "),. "doc/t
0730: 72 75 6e 6b 2f 22 0a 20 20 20 20 2c 20 22 6d 6f runk/". , "mo
0740: 6e 74 68 6c 79 22 2c 20 22 30 2e 33 22 0a 29 3b nthly", "0.3".);
0750: 0a 0a 23 20 6f 75 74 70 75 74 0a 66 75 6e 63 74 ..# output.funct
0760: 69 6f 6e 20 6c 6f 6f 70 28 24 72 2c 20 24 62 61 ion loop($r, $ba
0770: 73 65 2c 20 24 66 72 65 71 3d 22 77 65 65 6b 6c se, $freq="weekl
0780: 79 22 2c 20 24 70 72 69 6f 3d 22 30 2e 31 22 29 y", $prio="0.1")
0790: 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20 28 {. foreach (
07a0: 24 72 20 61 73 20 24 70 61 67 65 29 20 7b 0a 20 $r as $page) {.
07b0: 20 20 20 20 20 20 20 65 6e 74 72 79 28 24 62 61 entry($ba
07c0: 73 65 20 2e 20 24 70 61 67 65 5b 22 6e 61 6d 65 se . $page["name
07d0: 22 5d 2c 20 24 70 61 67 65 5b 22 64 61 74 65 74 "], $page["datet
07e0: 69 6d 65 22 5d 2c 20 24 66 72 65 71 2c 20 24 70 ime"], $freq, $p
07f0: 72 69 6f 29 3b 0a 20 20 20 20 7d 0a 7d 0a 0a 66 rio);. }.}..f
0800: 75 6e 63 74 69 6f 6e 20 65 6e 74 72 79 28 24 75 unction entry($u
0810: 72 6c 2c 20 24 64 61 74 65 74 69 6d 65 2c 20 24 rl, $datetime, $
0820: 66 72 65 71 2c 20 24 70 72 69 6f 29 20 7b 0a 20 freq, $prio) {.
0830: 20 20 20 24 75 72 6c 20 3d 20 68 74 6d 6c 73 70 $url = htmlsp
0840: 65 63 69 61 6c 63 68 61 72 73 28 24 75 72 6c 2c ecialchars($url,
0850: 20 45 4e 54 5f 51 55 4f 54 45 53 2c 20 22 75 74 ENT_QUOTES, "ut
0860: 66 2d 38 22 29 3b 0a 20 20 20 20 70 72 69 6e 74 f-8");. print
0870: 20 3c 3c 3c 45 4f 54 0a 20 20 20 20 3c 75 72 6c <<<EOT. <url
0880: 3e 0a 20 20 20 20 20 20 20 20 3c 6c 6f 63 3e 7b >. <loc>{
0890: 24 5f 53 45 52 56 45 52 5b 22 46 4f 53 53 49 4c $_SERVER["FOSSIL
08a0: 5f 53 45 4c 46 22 5d 7d 7b 24 75 72 6c 7d 3c 2f _SELF"]}{$url}</
08b0: 6c 6f 63 3e 0a 20 20 20 20 20 20 20 20 3c 6c 61 loc>. <la
08c0: 73 74 6d 6f 64 3e 24 64 61 74 65 74 69 6d 65 3c stmod>$datetime<
08d0: 2f 6c 61 73 74 6d 6f 64 3e 0a 20 20 20 20 20 20 /lastmod>.
08e0: 20 20 3c 63 68 61 6e 67 65 66 72 65 71 3e 24 66 <changefreq>$f
08f0: 72 65 71 3c 2f 63 68 61 6e 67 65 66 72 65 71 3e req</changefreq>
0900: 0a 20 20 20 20 20 20 20 20 3c 70 72 69 6f 72 69 . <priori
0910: 74 79 3e 24 70 72 69 6f 3c 2f 70 72 69 6f 72 69 ty>$prio</priori
0920: 74 79 3e 0a 20 20 20 20 3c 2f 75 72 6c 3e 5c 6e ty>. </url>\n
0930: 0a 45 4f 54 3b 0a 7d 0a 0a 23 20 65 6e 64 0a 70 .EOT;.}..# end.p
0940: 72 69 6e 74 20 27 3c 2f 75 72 6c 73 65 74 3e 27 rint '</urlset>'
0950: 3b 0a 0a 3f 3e ;..?>