日記

UrlFetchApp.fetch(url).getContentText(‘UTF-8’)でreturned code 429. Truncated server responseの調査

Google App Scriptで人様のコードを参考にテストしていたのですが、UrlFetchApp.fetch(url).getContentText(‘UTF-8’)の箇所でエラーが吐かれました。

Exception: Request failed for https://www.google.com returned code 429. Truncated server response: <!DOCTYPE html PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”> <html> <head><meta http-equiv=”content-type” content=”text/html; charset=utf-8″><me… (use muteHttpExceptions option to examine full response)

一応変数のURLは直打ちして問題なく値が取れていることは確認済み

429はリクエストが多すぎる

429はリクエストが多すぎるときに出されるステータスのようです。
そんなこと言われてもね。

参考:https://stackoverflow.com/questions/69163571/why-is-google-apps-script-giving-me-this-urlfetchapp-script-code-429

スパムだと思われてる?

参考:https://en-forum.guildwars2.com/topic/101451-problem-with-google-apps-script-url-fetching-error-code-429/

ちょっと待機させたりするならこの方法

参考:https://stackoverflow.com/questions/66936814/google-apps-script-403-error-for-urlfetchapp

Googleの検索エンジンはsearchAPIを使いなさい

URLにGoogleの検索画面を使おうとさせていた場合は、Googleのスクレイピングは禁止されているようでロボットは弾かれるようです。

大人しくsearchAPIを使うしかないらしいです。

参考:https://stackoverflow.com/questions/66429810/error-429-on-scraping-from-google-search-with-google-apps-script

COMMENT

メールアドレスが公開されることはありません。