Su gentile richiesta di X§, tento di spiegare la storia dei robots.txt "come ad un bambino di sei anni".

I motori di ricerca funzionano grazie a dei programmi specializzati che navigano in continuazione su tutta la rete saltando di link in link memorizzando tutto. Si chiamano "spider" (ragni) probabilmente perché si muovono rapidamente sul "web" (ragnatela).

Senza gli spider non ci sarebbero i motori di ricerca, però avere un programma automatico che ogni giorno legge tutto il tuo sito (che potenzialmente è composto da migliaia di pagine) può essere costoso in termini di consumo di banda e di risorse (soprattutto quando, come avviene spesso, quelle pagine non sono affatto cambiate).

Il file robots.txt è un file che i webmaster mettono sui server per evitare che i motori di ricerca leggano ed indicizzino pagine che non dovrebbero essere indicizzate (perché riservate o più semplicemente perché non ha senso farlo).

Facendo una ricerca su "personalità+confusa+papa", google propone tra i risultati il tuo sito, ma non è il primo (perché mai dovrebbe esserci prima blognews?) e comunque non si tratta dell'ultimo post (prova a premere sul link "Copia cache" e vedrai che si tratta di una vecchia pagina con una storia del papa precedente).

Fino a ieri su tutti i siti di Splinder c'era un file che diceva ai motori di ricerca che si presentavano di non indicizzare alcuna pagina. Oggi pare non ci sia più.

Adesso smetti di fare i capricci e vai a lavarti le mani.

Mentre guardavo le analisi del traffico sul mio weblog ho provato a controllare chi sono i maggiori consumatori di banda. Sorpresa!

Il maggiore consumatore di banda di questo sito è Splinder!

Infatti c'è uno spider che si collega a queste pagine da un indirizzo IP riconducibile a Splinder che scarica questa mia pagina una volta ogni 10 minuti, 24 ore su 24. Non rispetta nessun flag del server che gli dice dice "Guarda che questa pagina non è cambiata negli ultimi 10 minuti", lui scarica comunque, quindi consuma effettivamente la mia banda. 5Mb di dowload nella sola giornata di ieri. Dall'inizio di novembre lo spider di Splinder mi ha ciucciato ben 143.0MB.

Ma la vera domanda è: perché? Non mi risulta ci sia alcuna utility su Splinder che si colleghi in qualche modo al mio sito e per cui ci sia bisogno di scaricare ogni 10 minuti la mia pagina. C'è un termine tecnico per definire un comportamento di questo tipo da parte del gestore di un servizio web: idiota.

PS: mi sono fatto anch'io il mio bel file robots.txt.

In questo post la redazione di Splinder sostiene che si è trattato di un errore, già corretto. In questo momento (ore 14:49), il file robots.txt di personalità confusa recita ancora:

User-agent: *
Disallow: /

Che significa: "nessuno spider legga nessuna pagina".

Non so se sia anche stata data una risposta a matteoc a proposito del blocco su >Skip Pop.

Il post dice anche:

Da parte di Splinder non c'e' nessuna volonta' di chiudere la piattaforma all'esterno.

A questo punto non posso che dirlo. Balle!

E' da un pezzo che Splinder ha scelto di chiudere la propria comunità (ad esempio, non essendo parte del loro gruppo se provo a postare un commento al loro post appena citato mi viene detto: "Scusa ma non ti è permesso lasciare commenti su questo blog").

Mi chiedo anche quanto verosimile sia la storia emersa su qualche weblog di una possibile cessione di Splinder. Anche se suona un po' "secolo scorso", non è del tutto impossibile che vi sia un piano del genere. In fondo stiamo parlando sempre di qualche migliaio di utenti attivi (a proposito dei 30.000 blog vedi paragrafo precedente).

In questo caso sembra che Splinder stia iniziando ad addestrare i propri utenti al livello di servizio di classe "TelecomWindVodafone".

Ma cosa succederebbe se adesso alcuni dei weblog più popolari di Splinder decidessero di traslocare?

Oggi ho scoperto per caso leggendo un commento su Manteblog che tutti i weblog su splinder sono configurati in modo da non essere indicizzati dai motori di ricerca. Il file robots.txt dice infatti ai motori di ricerca "Non leggere queste pagine, chiunque tu sia". Ad esempio potete vedere qua il file robots.txt di personalità confusa.

In effetti l'ultima copia del popolare weblog disponibile nella cache di google risale al 9 novembre (di solito gli spider di google aggiornano la cache quotidianamente).

In modo analogo, da qualche tempo i server di Splinder sono configurati in modo da rifiutare le connessioni provenienti da >skip pop.

Cosa significa questo? Beh, semplicemente che i "clienti" di Splinder stanno sparendo dalla rete. I siti continuano ad essere raggiungibili attraverso un browser, ma non attraverso i motori di ricerca o gli indici di popolarità.

Ma perché Splinder mette in pratica questo tipo di politica? Inutile chiedere a loro, tanto non rispondono mai. La spiegazione più plausibile è il consumo di banda che questi servizi richiedono.

Tanto per darvi un'idea, dall'inizio di questo mese il 6% della banda usata da questo weblog è stata assorbita da spider di motori di ricerca. Dev'essere tenuto in considerazione che questo è un sito relativamente popolare, nel senso che gli spider di google & c. sono solo una decina sui più di 15.000 visitatori che hanno scaricato pagine dal mio server.

Nel caso di un sito poco visitato (o magari un sito abbandonato, e credo che sui 30.000 di Splinder questi siano una maggioranza), va a finire che gli unici visitatori siano gli spider dei motori di ricerca, che scaricano ogni giorno centinaia di pagine che non cambiano mai con su scritto solo "Salve, sono qua!", arrivando così ad assorbire parti importanti della banda a disposizione.

Splinder offre un servizio gratuito, quindi immagino che chi ha un sito ospitato sui loro server abbia ben poco di cui lamentarsi. Però non credo che sia stato mandato un messaggio a tutti dicendo "hei ragazzi, vi facciamo sparire dai motori di ricerca, contenti?", né mi risulta sia stata offerta un'alternativa (ad esempio una che includesse lo scambio si una modica quantutà di denaro).

Quello che sta facendo Splinder è legittimo. Il modo in cui lo fanno è pessimo.

PS: visto che anche la mia azienda offre un sistema di blogging a pagamento, qualcuno può probabilmente considerare splinder un mio concorrente. Io non credo sia così, comunque ci sono molti altri strumenti di blogging, gratuiti e non, li trovate qua.

Abbiamo appena incrementato di 10 volte la disponibilità di banda sui nostri server in web farm. Il download di questa pagina (e di tutte quelle dei nostri clienti) dovrebbe essere significativamente più veloce. :-)

Interessante articolo di Luciano Giustini a proposito di k-logs. Ci saranno interessanti notizie sull'argomento anche da queste parti nei prossimi giorni.

PS: L'articolo non c'è più perché verrà pubblicato su Internet News a dicembre.

Pare che anche Giuseppe Granieri si sia beccato un infezione ai commenti. Consiglio di mangiare molto aglio e bere molta acqua. Se non funziona non rimane che la crioterapia per estirpare il troll.

Ho la sensazione che gli americani (e gli inglesi, i tedeschi ed altri "barbari") siano "popoli guerrieri", gente che non teme lo scontro e che vede nella guerra la prima soluzione per risolvere i conflitti. Non è che non capiscano il valore della pace, ma per loro quella diplomatica è una seconda scelta.

Forse perché siamo stati guerrieri e conquistatori prima di tutti gli altri, forse perché ne abbiamo avuto abbastanza, forse perché siamo ladri e mercanti, noi italiani siamo un popolo diplomatico. Per noi la mediazione è sempre la prima scelta (forse perche' la diplomazia l'abbiamo perfezionata noi nei secoli, come racconta la storia*) forse è per questo che noi, quando mandiamo i nostri militari nel mezzo di una guerra e poi ci sparano... noi ci rimaniamo male.

* Questo post è tratto da uno scambio in ICQ con Giuseppe. La frase in corsivo l'ha inserita lui mentre scrivevo. Visto che ci stava perfettamente, l'ho lasciata.

Dopo quanto scritto da Massimo e da Beppe a proposito del pezzo di Marcello mi è rimasto ben poco da aggiungere.

Quello che voglio sottolineare è che non credo sia una questione di click.

E' vero che i weblog sono una nuova forma di comunicazione, ma sebbene si basino su un processo di pubblicazione non peno che debbano essere paragonati ai siti internet tradizionali e quindi misurati con il metro dei click.

Dire che i weblog sono poco significativi perché raggiungono solo un numero limitato di lettori è come dire che la posta elettronica è poco importante perché la gran parte della gente la usa per corrispondere con poche decine di persone.

In teoria con il mio programma di posta elettronica potrei raggiungere qualunque utente internet della terra, ma non lo posso fare non solo perché non dispongo di tutti gli indirizzi ma soprattutto perché probabilmente non saprei cosa dire a tutta 'sta gente e a questi non interessa niente conoscere le mie opinioni.

Con il mio weblog è diverso. Scrivo e quello che scrivo rimane a disposizione di tutti quelli che prima o dopo lo vorranno leggere.

Dall'analisi di Marcello manca un dato significativo: i visitatori casuali provenienti dai motori di ricerca. Stando alle mie statistiche, nella sola giornata di ieri 63 persone sono arrivate su queste pagine da Google. Questo succede ogni giorno, esattamente come sarà capitato anche a voi decine di volte di usare Google per trovare un'informazione e trovarvi a leggere quanto scritto da una persona che potrebbe abitare nella vostra città o dall'altra parte del mondo sul proprio weblog.

I weblog sono probabilmente la prima significativa nuova tecnologia del d.G. (dopo Google).

I weblog sono importanti perché funzionano attraverso dei piccoli parchi di lettori ed iscritti, ma soprattutto funzionano perché i contenuti dei weblog diventano a tutti gli effetti parte del web, e la grande colla del web oggi si chiama Google. Se quello che avete scritto potrà servire a qualcuno, questo qualcuno vi raggiungerà da Google.

La sfida non è quindi quella di ottenere visibilità, quello è un vecchio problema di cui si dovrebbero preoccupare solo quei quattro vecchietti che sono rimasti a vendere banner sui propri portali.

La sfida di oggi è contribuire con le proprie idee in uno spazio aperto e libero in cui chiunque le potrà scoprire oggi, domani o forse mai.

Mi segnalano che il sito di CNNitalia è chiuso.

Un nuovo servizio offerto da Feedster: The Feedster Builder.

Conoscendo Scott Johnson sono sicuro che è il modo migliore per ottenere il vostro feed RSS di qualità se il vostro weblog è ospitato da qualcuno che non offre ancora questo servizio.

Oltre a creare il feed per il vostro sito, Feedster si preoccuperà anche di inviare un ping a Weblogs.com ad ogni vostro aggiornamento (anche se non sapete cosa questo significhi credetemi: è importante ;-).

Come per gli accenti sui nomi di città mediorientali o la pronuncia dei nomi di politici e sportivi stranieri, anche nel settore del terrorismo la stampa italiana non è in grado di trovare una linea comune. Sono "anarco-insurrezionalisti" o "anarchico-insurrezionalisti"?

Lorenza Boninu: "... se mai ce ne furono. Bene, questo e' un post scritto per puro e semplice spirito di vendetta. Un post che sfrutta questa semplice considerazione: grazie al blog, anch'io ho il mio spazio pubblico in Rete, anch'io ho miei lettori, anch'io posso farmi sentire. Certo, non ho l'audience di un media tradizionale. Ma chi puo' dire cosa accadra'? Sono un nodo in una rete e, chissa', magari la mia voce, propagandosi per vie impensate in questo intreccio di relazioni virtuali, puo' risultare amplificata piu' di quanto si creda. Bando alle ciance e passiamo ai fatti" [continua...]

E' senz'altro vero che un weblog ha meno lettori al giorno di un quotidiano, anche se di provincia. Però un weblog è molto più google-friendly di quasi tutti i quotidiani italiani che, se pubblicano in Internet, cercano stupidamente in ogni modo di prevenire l'indicizzazione dei propri contenuti.

Chi in futuro cercherà informazioni sull'argomento troverà questo post di Lorenza, non l'articolo sul quotidiano. Così si imparano!

La vignetta di Non Sequitur di oggi ricorda certe campagne del nostro governo per stimolare l'economia.

Questa storia del decreto spalma-debiti-salva-calcio è l'ennesima barzelletta italiana, una di quelle che sarebbe da ridere se non ci fosse da piangere.

Ammetto di non essere minimamente interessato al calcio, ma essendo interessato da anni alla gestione di imprese trovo assolutamente scandalosa questa situazione. Se hai un'azienda vivi in un ambiente che ha una semplice regola: se alla fine dell'anno sei in perdita o trovi i soldi per ripianare la perdita o porti i libri in tribunale (cioè chiudi).

Dare la possibilità ad un piccolo numero d'aziende, alcune delle quali quotate in borsa, quindi aziende vere e proprie e non associazioni bocciofile, di prendere la perdita e distribuirla su 10 anni è una totale assurdità contabile. Ma pare che nessuno se ne meravigli in modo particolare, anzi, sento da più parti dire che è una legge quasi dovuta per salvare l'istituzione del calcio italiano.

Ma cos'ha di particolare il calcio italiano?

Alcuni dicono sia una grande industria. Può anche essere, ma perché mantenere un'industria in perdita? I debiti di una qualunque industria se non pagati si distribuiscono sull'intera società. Come in fisica anche in economia nulla si crea e nulla si distrugge: se i soldi non escono dalle tasche dei proprietari delle squadre da qualche altra parte devono uscire (indovinate un po'...)

Altri dicono che le squadre italiane sono schiacciate dalle troppe tasse. Ma se queste aziende sono in perdita non pagano di certo tasse sui redditi, quindi sono schiacciate da cosa? L'IRAP?

E' importante per l'economia? Non credo. Tutti ci dicono che il vero problema sono gli stipendi dei calciatori. Non è la Fiat che mantiene migliaia di famiglie, se decidessimo di chiudere "l'industria" del calcio manderemmo a casa qualche centinaio di dirigenti ed atleti strapagati che probabilmente non dovrebbero neanche preoccuparsi di trovare un altro lavoro.

Credo sia tutto molto più complicato: il calcio è potere. E' uno strumento per creare consenso, per distribuire potere, per affermarsi. E in questo momento in questo paese, più ci si avvicina alla cima dell'Olimpo politico, più la vita diventa facile, spesso attraverso leggi fatte ad hoc.

Ma siamo in Europa. Le squadre degli altri paesi europei si chiedono perché mai loro le perdite le debbano coprire mentre le squadre italiane, con cui si confrontano sui campi da gioco, non lo debbano fare se non in 10 anni. Di consegnenza un commissario europeo tenta di bloccare questo colossale inganno.

Speriamo bene, e auguri a tutti.

Molti sono già piuttosto contenti della realtà dei weblog di oggi. Si sente spesso nell'aria un atteggiamento che urla:

In fondo prima non si poteva fare, adesso si può, perché incasinarci ulteriormente la vita? Anzi, ci sono già oggi alcune menate tecnologiche di cui certi parlano che a me sembrano troppo difficili da capire... che volete da noi?

Io penso che si tratti di un primo passo non di uno ma di molti possibili percorsi: siamo solo all'inizio.

La settimana scorsa ho scritto un po' di commenti, mail-list e trackback. Giuseppe ha ipotizzato una sorta di registro degli autori che consenta di tener traccia di cosa viene scritto in giro. Sono i primi sintomi dell'evoluzione di questa realtà.

Cerchiamo di guardare un po' oltre per capire cosa ci potrebbe offire la teconogia in un futuro neanche troppo lontano.

Oggi i weblog rappresentano la nostra presenza in rete. Per alcuni si tratta di raccontare il proprio lavoro ed i propri punti di vista, per altri di raccontare la propria vita, per altri ancora di commentare l'attualità. Certi lo fanno usando il proprio nome, altri usando un nickname, un avatar che consente loro di proteggere la propria identità reale.

In tutti questi casi si tratta di una nuova forma di comunicazione che consente di stabilire relazioni. Relazioni che vengono esplicitate attraverso i blogroll (metto i link di quelli che leggo sul mio sito) e conversazioni fatte di botta e risposta tra post, commenti e trackback.

Ma guardando un da una distanza un po' maggiore questa realtà, la vera novità mi sembra sia il fatto che migliaia di persone stiano usando un nuovo tipo di software per svolgere delle attività che prima non svolgevano. Pur dovendo restare il più semplici possibile da usare, l'evoluzione di queste applicazioni porterà a nuove ed entusiasmanti soluzioni.

Si parlava di relazioni. Alcuni stanno cercando di rappresentare questi sistemi di relazioni usando teconologie come FOAF (Friend Of A Friend) e offrendo servizi che consentono di amministrare le proprie relazioni on-line. Il mio amico Marc Canter, per esempio, lavora su PeopleAggregator, un servizio che consentirà di amministrare le proprie relazioni in rete in funzione della propria presenza.

Una nuova classe di programmi, il social software, aiuterà le persone a lavorare e comunicare meglio in un ambiente aperto. La vera novità risede nel fatto che mentre fino ad oggi si è lavorato soprattutto per creare programmi che servivano a comunicare con persone che conoscevamo già o che comunque appartenevano al nostro ambiente, con il social software si lavora per espandere queste conoscenze, per incontrare persone che ci interessano e che non avremmo avuto modo di conoscere in altri modi. Se siete frequentatori di weblog non avrete difficoltà a fare una lista di almeno dieci persone che oggi seguite quotidianamente e che avete conosciuto negli ultimi sei mesi.

Quello che dovrebbe succedere è una fusione tra questi diversi tipi di applicazione. Non vedremo più il nostro weblog come un semplice strumento per la pubblicazione ma come una vera e propria rappresentazione della nostra identità in rete, anzi, come una delle rappresentazioni della nostra identità. Infatti ognuno di noi vorrà apparire e relazionarsi con diversi gruppi adottando eventualmente diverse identità: cosa comunico e come lo faccio con miei colleghi sarà spesso diverso dal farlo con i miei amici, con la mia famiglia o nei confronti del pubblico in generale. Si tratterà di identità potenzialmente permeabili, dove i contenuti potranno passare da una parte all'altra, ma volendo potranno anche essere completamente separate.

E' difficile dire oggi se tutto questo potrà essere fatto con un'unica applicazione o mediante la fusione di programmi e servizi diversi che comunicheranno tra loro attraverso standard aperti. A meno che grossi player monopolistici non decidano di entrare in forze in questa realtà (e a dire il vero alcuni segnali ci sono), è probabile che sarà la seconda ipotesi a verificarsi o magari un mix delle due.

Qualunque cosa succeda penso che possiate rassegnarvi al fatto che la "blogosfera" così come la conosciamo oggi è destinata ad una rapida evoluzione: un giorno potrete dire ai vostri nipotini "io c'ero".

Mi capita spesso di ricevere spam o di trovare in giro pubblicità di aziende che offrono servizi di registrazione nei motori di ricerca (in questo momento c'è la pubblicità di una di queste tra i banner di google qua a destra). Quando ho tempo provo a fare su google una ricerca su "registrazione nei motori di ricerca" o qualcosa di simile. Fino ad ora non mi è mai capitato di trovare nella prima pagina dei risultati chi mi voleva vendere il servizio.