Perplexityがrobots.txtを無視しているという話題があったけど、GenAI向けにai.txtを新たに定義してはどうか、という話がある。 spawning.ai/ai-txt