AWS での S3 と CloudFront のログ解析(AWstats)

S3 と CloudFront のログ解析に AWstats を使用する時の設定は結構はまりました。

CentOS 5.6 に AWstats 7.0 の rpm を インストールして確認
継続的に運用するまでの手順ではなく一時的にログ解析を行うための設定となります。

事前準備としては ログ出力先の S3 のバケットから AWstats を稼動させるマシンへ転送してください。

S3 ログを解析するときの AWstats の設定

ダウンロード済みの S3 のログを
cat 2011-05* > s3.log
などで結合してください。

#継続的に運用する場合
#LogFile=”/usr/local/awstats/tools/logresolvemerge.pl /結合前のログファイルへのパス/%YYYY-0-%MM-0-%DD-0-* | sed -e ‘s/SOAP\.\([A-Z]*\)/\1/’ -e ‘s/REST\.\([A-Z]*\)\.[A-Z]*/\1/’ |”
LogFile=”/usr/local/awstats/tools/logresolvemerge.pl /結合済みログファイルへのパス/s3.log | sed -e ‘s/SOAP\.\(A-Z]*\)/\1/’ -e ‘s/REST\.\([A-Z]*\)\.[A-Z]*/\1/’ |”
LogFormat=”%other %extra1 %time1 %host %logname %other %method %url %otherquot %code %extra2 %bytesd %other %extra3 %extra4 %refererquot %uaquot %other”
LogSeparator=” “

 

CloudFront ログを解析するときの AWstats の設定

ダウンロード済みの CloudFront のログを
zcat DistributionID.2011-05* > cf.log
などで結合してください。

#継続的に運用する場合
#LogFile=”/usr/local/awstats/tools/logresolvemerge.pl /結合前のログファイルへのパス/DistributionID.%YYYY-0-%MM-0-%DD-0-*.gz | sed ‘s/\t/ /’ |”
LogFile=”/usr/local/awstats/tools/logresolvemerge.pl /結合済みログファイルへのパス/cf.log | sed ‘s/\t/ /’ |”
LogFormat=”%time2 %cluster %bytesd %host %method %virtualname %url %code %referer %ua %query”
LogSeparator=”\t”
HostAliases=”localhost 127.0.0.1 REGEX[cloudfront\.(net|org)$]“
LoadPlugin=”clusterinfo”

 

clusterinfo.コンフィグ名.txt

DFW3    USA: Dallas/Fort Worth, TX
EWR2    USA: Newark, NJ
IAD2    USA: Ashburn, VA
JAX1    USA: Jacksonville, FL
JFK1    USA: New York, NY
LAX1    USA: Los Angeles, CA
MIA3    USA: Miami, FL
SEA4    USA: Seattle, WA
SFO4    USA: Palo Alto, CA
STL2    USA: St. Louis, MO
AMS1    Europe: Amsterdam
DUB2    Europe: Dublin
FRA2    Europe: Frankfurt
LHR3    Europe: London
CDG3     Europe: Paris
HKG1    Asia: Hong Kong
NRT4    Asia: Tokyo
SIN2    Asia: Singapore

 

実際にログ解析を行ってみましたが、ウェブサイトではないログに対して
解析を行ったためにまともな解析となりませんでした。

This entry was posted in AWS, AWstats, CloudFront, S3, ログ解析. Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>