Pythonでログ解析（３）　〜ログの読み込みからCSVファイルの作成まで〜

 

前回までの授業で、Pythonのインストールと開発環境の構築が終わりました。いよいよ、プログラミングを書いていくわけですが、プログラムの流れを先に考えておこうと思います。今回のプログラムでやりたいことであるログ解析ですが、まずは、具体的に取りたいログを決めましょう。まだ前回までの授業を受けていない方は、こちらからどうぞ。

 

Pythonでログ解析（１）　〜プログラムを実行するまで〜

Pythonでログ解析（２）　～パソコンにPythonを入れるまで～

 

それでは、前回の続きとしていよいよプログラムを書いていきましょう！

 

 

抽出したいデータの具体化

まずは、どんなコマンドで何のデータを抽出したいのかを明確にしましょう。以下のような手順で考えてみるといいと思います。

 

① コマンドの選定

show interface fastethernet 0

 

② 抽出したい行の選定

Time source is user configuration, 00:00:00.963 UTC Sun Jul 1 2018

5 minute output rate 2367 bits/sec, 21 packets/sec

 

③ 抽出したい値の選定

Time source is user configuration, 00:00:00.963 UTC Sun Jul 1 2018

5 minute output rate 2367 bits/sec, 21 packets/sec

 

これを決めておくことで、具体的に何を取得したいのかを明確になり、プログラムを書く上で重要になります。

 

フォルダ構成の検討

今回は、Python プログラムファイル以外に、定期取得したログファイルと出力されるcsvファイルがあります。以下のフォルダ構成にしたいと思いますので、環境を作っておいてください。この「make_cav_file.py」がPythonの実行ファイルになるのと、「log」フォルダの中にあるテキストファイルが定期的に取得したログファイルになります。

 

 

 

Pythonコードの紹介

それでは、いきなりですがPythonのコードを紹介してしまいますね。

 

import glob
import os
import csv

 

# 2018年7月1日のログから抽出
days = ‘20180701’
DATA_DIR = (‘./log/’ + days)
# /log/20180701の配下に保存されているテキストファイルを変数「files」に入れる
files = glob.glob(os.path.join(DATA_DIR, ‘*.txt’))

 

# 「files」から１ファイルずつOpenしていく
for file in files:
with open(file) as f:
        # openしたファイルから１行ずつ読み込んでいく
lines = f.readlines()
lines_strip = [line.strip() for line in lines]

        # ログ取得時間の取得
        # 「Time source is user configuration」という文字が含まれている行を抜き出して
        # 変数「l_time」に代入する
l_time = [line for line in lines_strip if ‘Time source is user configuration’ in line]
        # 「l_time」の中に保存された１行を空白セルで区切る
        # 例）「Time source is user configuration, 00:00:00.963 UTC Sun Jul 1 2018」
time_sp = str(l_time).split(‘ ‘)
        # 空白セルで区切られた１行から6月番目だけを抽出し、「time」に代入する
time = time_sp[5::6]

        #Outputデータ量の取得
        # 「5 minute output rate」という文字が含まれている行を抜き出して
        # 変数「l_opt」に代入する
l_opt = [line for line in lines_strip if ‘5 minute output rate’ in line]
        # 「l_opt」の中に保存された１行を空白セルで区切る
        # 例）「5 minute output rate 2367 bits/sec, 21 packets/sec」
opt_sp = str(l_opt).split(‘ ‘)
        # 空白セルで区切られた１行から5月番目だけを抽出し、「opt」に代入する
opt = opt_sp[4::5]

i = 0
for tm in time:
            # 先程抽出した、変数「time」と変数「opt」を組み合わせて「table」に代入していく
            # 間に「,」を入れることでcsv化した時に列を分割させる
table = (tm, ‘,’, opt[i])
            # 日付入りのCSVファイルを作成する
            # オプションで「a」を選択することで上書きモードでオープン
f_log = open(days + ‘_log_data.csv’, ‘a’)
            # csvファイルに先程の「table」を書き込む
f_log.writelines(table)
            # 「’\n’」を入れることで改行させる
f_log.writelines(‘\n‘)
            # 次のデータに進む
i += 1
        # csvファイルを閉じる
f_log.close()

 

これを任意のファイル名にして拡張子を「.py」にすれば、データからcsvファイルを作成してくれるはずです。とりあえず、「make_csv_file.py」として実行してみてください。以下のように出力されていればOKです。もし、作成されないようでしたら、フォルダ構成やモジュールの有無などを確認してみてください。

 

 

コードの解説

フォルダを作成してコードをコピーして貼り付けるだけでは、何の勉強にもなりませんので、少しでも解説させてもらいます。

 

モジュールのインポート

まず最初に行っているのがモジュールのインポートです。以前の授業でモジュールをインストールしたかと思いますが、インストールしたらPythonで使えるわけではないのです。プログラムを書く際に使用するモジュールをインポートする必要があります。今回は以下の3つを使用します。

 

import glob
import os
import csv

 

これらのモジュールの機能は以下になります。

 

 

このように、プログラムで使用するモジュールを事前に定義しておきましょう。

 

 

テキストファイルの読み込み

モジュールのインポートが終わったら、実際に取得したテキストファイルの読み込みを実施していきましょう。最初に定義したフォルダ構成を思い出してください。Pythonファイルの保存ディレクトリから見て、以下の場所にログファイルが保存されているはずです。

 

./log/20180701/

 

そのログが保存されている場所を指定して、ディレクトリ内のすべてのテキストファイルを順に読み込むようにしていきます。

※今回はプログラムの中に「20180701」と明記していますが、次回以降に任意の場所を入力できるようにします。ここでは、一旦このままでいきます。

 

# 2018年7月1日のログから抽出
days = ‘20180701’
DATA_DIR = (‘./log/’ + days)
# /log/20180701の配下に保存されているテキストファイルを変数「files」に入れる
files = glob.glob(os.path.join(DATA_DIR, ‘*.txt’))

 

 

データ抽出

先程、読み込んだファイルから必要な情報を抽出していきます。今回は、「時間」と「データ量」の抽出が目的となるので、それぞれを変数「time」と「opt」に入れていくようにしています。具体的なコマンドの中身については、コードの途中に「#」に続けてコメントを書かせてもらっているので、それを見てもらえればわかると思います。

 

ちなみに「#」から右側がコメントと判断されるので、コードの内容についてコメントを残すようにしましょうね。後で見直したときに苦労することになるので。

 

# 「files」から１ファイルずつOpenしていく
for file in files:
with open(file) as f:
        # openしたファイルから１行ずつ読み込んでいく
lines = f.readlines()
lines_strip = [line.strip() for line in lines]

        # ログ取得時間の取得
        # 「Time source is user configuration」という文字が含まれている行を抜き出して
        # 変数「l_time」に代入する
l_time = [line for line in lines_strip if ‘Time source is user configuration’ in line]
        # 「l_time」の中に保存された１行を空白セルで区切る
        # 例）「Time source is user configuration, 00:00:00.963 UTC Sun Jul 1 2018」
time_sp = str(l_time).split(‘ ‘)
        # 空白セルで区切られた１行から6月番目だけを抽出し、「time」に代入する
time = time_sp[5::6]

        #Outputデータ量の取得
        # 「5 minute output rate」という文字が含まれている行を抜き出して
        # 変数「l_opt」に代入する
l_opt = [line for line in lines_strip if ‘5 minute output rate’ in line]
        # 「l_opt」の中に保存された１行を空白セルで区切る
        # 例）「5 minute output rate 2367 bits/sec, 21 packets/sec」
opt_sp = str(l_opt).split(‘ ‘)
        # 空白セルで区切られた１行から5月番目だけを抽出し、「opt」に代入する
opt = opt_sp[4::5]

 

 

csvファイルへの書き込み

最後にログファイルから抽出したデータをcsvファイルに書き込みましょう。時間データを読み込んだ変数「time」を順番に抽出して新しく変数「tm」に入れます。そして、同ファイルに含まれていたトラフィックデータ「opt」を組み合わせて、csvファイルに書き込みます。

 

        i = 0
for tm in time:
            # 先程抽出した、変数「time」と変数「opt」を組み合わせて「table」に代入していく
            # 間に「,」を入れることでcsv化した時に列を分割させる
table = (tm, ‘,’, opt[i])
            # 日付入りのCSVファイルを作成する
            # オプションで「a」を選択することで上書きモードでオープン
f_log = open(days + ‘_log_data.csv’, ‘a’)
            # csvファイルに先程の「table」を書き込む
f_log.writelines(table)
            # 「’\n’」を入れることで改行させる
f_log.writelines(‘\n‘)
            # 次のデータに進む
i += 1
        # csvファイルを閉じる
f_log.close()

 

これをファイルの数だけ繰り返すことで、すべてのデータが抽出されることになりますね。それが終わったらcsvファイルを閉じて完了です。たったこれだけのコードだけで何千ものファイルがあったとしても数秒で抽出することができるのです。

 

 

まとめ

 

番外編でTera Termで定期的にログ取得するマクロを紹介しています。こちらも勉強しておきましょう！

Pythonでログ解析（４）　〜【番外編①】ログの定期取得マクロ〜

 

商品紹介

ネットワークエンジニアとして仕事していく上で、必要となる商品を紹介させていただいています。よかったら、こちらも読んでみてください。きっと何か面白いものが見つかると思いますよ！

商品紹介　～ネットワークエンジニアの便利アイテム！～

商品紹介　～職場で使える便利商品①～

商品紹介　～ネットワークのお勉強に役立つ商品①～

無線LAN商品の紹介　～Arubaで遊ぼう！～