サイト上の特定の情報を抜き出す(その1) Python

サイト上の特定の情報を抜き出す(その1)

Webスクレイピングの練習で、HTMLから好きな情報を抜き出す方法を模索しています。今回はHTMLデータの中から特定<td>xxx</td>を抜き出したいと思ってます。 なお、当サイトで紹介する方法は、スクレイピングするサイトの規約違反に当たらぬよう心がけています。当サイトを…
URLからHTML取得してほしい情報を抜き出す Python

URLからHTML取得してほしい情報を抜き出す

Webスクレイピングに興味を持って少し勉強してます。メモです。 Webスクレイピングの流れ 大まかにこういった流れになります。 ①Request Pythonに限らないが、WebサイトへHTMLデータを取りに行く。 ②Get HTML Data HTMLデータを取得する。 ③Save HTML Da…
Pandasの.locと.ilocの違い Python

Pandasの.locと.ilocの違い

Python初心者で色々調べていますが、似たようなメソッドがあって、時々困りますね。 今回はPandasの.locと.ilocの違いについて簡単にまとめました。 サンプルコード # Create data frame df = pd.DataFrame([[0, 1, 2], [10, 11, 12…
文字列内を検索する方法|Pythonのお勉強 Python

文字列内を検索する方法|Pythonのお勉強

とある文字列の中に特定の文字または文字列が存在するかを調べる方法です。 2つの方法があり、存在の確認をしてTrueもしくはFalseを返す方法と、存在する場合にその位置を返す方法です。前者をサンプルコード1、後者をサンプルコード2として紹介します。 サンプルコード1(True/Falseを返す) #…
__name__ == __main__とは|Pythonのお勉強 Python

__name__ == __main__とは|Pythonのお勉強

Pythonで見かける以下のようなコードについてです。 def main(): pass if __name__ == '__main__': main() メインのスクリプトから呼び出されるモジュールに記載するおまじないだそうです。私なりにどのようなカラクリか説明します。(他言語かじりのPytho…
文字列から特定の文字列等を削除する|Pythonのお勉強 Python

文字列から特定の文字列等を削除する|Pythonのお勉強

stripメソッドを使います。 引数なし:前後のスペースや改行コードを削除する。引数あり:指定した文字列を削除する。lstrip:引数なしに同じ。ただし、前後ではなく「前」のみ。lstripのlはLeftのlと理解。rstrip:引数なしに同じ。ただし、前後ではなく「後」のみ。rstripのrはRi…
最終更新から一定時間経過したファイルを移動する(Pythonで自動化) Python

最終更新から一定時間経過したファイルを移動する(Pythonで自動化)

最近はPythonの勉強をしています。一方でFXのEAを作って動かしています。FXのEAを動かすMetaTraderは、ログファイル等が原因でとあるディレクトリ内のデータサイズが一定サイズ以上になるとEAが動かなくなるので、定期的にログファイルを退避させるようにしてます。 簡単に言うと、ログファイル…
ディレクトリ内のファイルを片方向同期する|Python Python

ディレクトリ内のファイルを片方向同期する|Python

CSVで有効/無効、ターゲットのディレクトリ、宛先のディレクトリを指定し、ターゲットディレクトリのファイルを宛先のディレクトリにコピーすることで、片方向同期するスクリプトです。 例えば、ディレクトリAの中にあるファイルをすべてディレクトリBにコピーします。これをタスクスケジューラ等で定期的に実施しま…
isとis not|Pythonのお勉強 Python

isとis not|Pythonのお勉強

isやis notを使うと、例えば変数の中身が同じかどうか確認できます。 サンプルコード(is) # Result True x = 100 x_id = id(x) y = x y_id = id(y) result = x is y print(f"x is {x_id}") print(f"y…
breakとcontinueの違い|Pythonのお勉強 Python

breakとcontinueの違い|Pythonのお勉強

たまに少し不安になるbreakとcontinueの違いについてです。 breakとは ループを抜けて、次の処理に行きます。例えばwhileループAの中のbreakに引っ掛かると、もうループAには戻ってきません。 continueとは ループ内の処理を中断して、ループに戻ります。例えば、whileルー…
while文の練習|Pythonのお勉強 Python

while文の練習|Pythonのお勉強

Pythonを勉強しています。今回はWhile文に慣れたいと思います。 while文は条件を満たす間だけ反復します。文法は「while 条件:」です。 注意点として、条件を満たさなくなる処理も含めることです。これをしないと無限ループとなります。 サンプルコード # Ask for answer, r…