# はじめにテキストデータの前処理や可視化を簡単に行うことができる**Texthero**を使ってみたので、使い方をまとめました。 *※[Qiita](https://qiita.com/h_yuma/items/c055c2fa801d0d60e63e)にも公開しています！内容の追記・修正を行いました🙇‍♂️* # 目次 - はじめに - 目次 - Textheroとは - Textheroの使い方 - 前処理 - 可視化 - データの準備 - word cloud - 散布図 - 注釈 - 参考文献 # Textheroとは ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/c408df8d-89f1-0af0-42c5-8d2cf592885b.png) *※図はtextheroの[GitHub](https://github.com/jbesomi/texthero)からの引用* 「**texthero（テキストヒーロー）**」とは、テキストデータの前処理やベクトル化、表現および可視化を行うことができるオープンソースのライブラリです。GitHubのページは[こちら](https://github.com/jbesomi/texthero)になります。非常に新しいライブラリで、現在β版としてリリースされています（2021/03/09時点）。 Pythonによる数行の簡単な実装で、様々な自然言語処理のタスクを行うことが可能です。今回は、使い方を学ぶという目的で、英語を対象にテキスト解析してみます。 *※公式ページによると、今後日本語をはじめ多言語に対応予定とのことです。* # Textheroの使い方 *※以下、言語はPython、環境はGoogle Colaboratoryを使用します。ご自身の環境に合わせて、適宜読み替えて下さい。* それでは早速Textheroを使ってみましょう。 pipでインストールします。 ```python pip install texthero ``` あとはインポートするだけです。 pandasも使用するので、併せてインポートしておきます。 ```python import texthero as hero import pandas as pd ``` ## 前処理ではまず、前処理をやってみます。以下の文字列を扱ってみましょう。pandasでSeriesとして用意しておきます。 ```python row_text = " Hi! I've started kàgglé, and I'm enjoying." s = pd.Series(row_text) ``` Textheroを使用すれば、不要なスペースの削除、大文字・小文字をどちらかに統一、ストップワード（[注釈](#注釈)）の除去、といったことが簡単にできます。以下、いくつかの前処理を行ってみました。 ```python s = hero.remove_whitespace(s) # スペースの削除 print(s) s = hero.remove_diacritics(s) # ダイアクリティカルマーク（発音区別符号。àやéなど）の削除 print(s) s = hero.lowercase(s) # 小文字への統一 print(s) s = hero.remove_punctuation(s) # 句読点の削除 print(s) s = hero.remove_stopwords(s) # ストップワードの削除 print(s) # 0 Hi! I've started kàgglé, and I'm enjoying. # dtype: object # 0 Hi! I've started kaggle, and I'm enjoying. # dtype: object # 0 hi! i've started kaggle, and i'm enjoying. # dtype: object # 0 hi i ve started kaggle and i m enjoying # dtype: object # 0 hi started kaggle enjoying # dtype: object ``` ちなみに、特に引数を指定せずにcleanを使用することで、いい感じに色々な前処理を行ってくれます。 ```python dirty_text = " Hi! I've started kàgglé, and I'm enjoying." s = pd.Series(dirty_text) hero.clean(s) # 0 hi started kaggle enjoying # dtype: object ``` ## 可視化 Textheroでは、データを可視化することもできます。 ### データの準備まずは可視化するデータを準備します。今回、公式ページと同様、BBCスポーツのデータを扱ってみます。 pandasを使用して、dataframeとして読み込んでおきます。 ```python df = pd.read_csv( "https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv" ) ``` Dataframe dfの中身は以下のようになっています。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/c8277aa0-062b-4ce7-844f-c2a23989b171.png) 少しわかりにくいので、df.to_csv('tmp.csv')などとしてcsvファイルにし、エクセル等で開いて中身を確認してみましょう。 textとtopicというカラムがあり、あるtopic（athletics（陸上競技）やtennisなど）に対するtext（記事）が記載されているようです。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/d6398d9c-111b-5263-5eb5-3d9dca2d08bb.png) ### word cloud それでは、word cloud（ワードクラウド）を描いてみます。word cloudは、頻出の単語ほど大きく表示するものです。 word cloudは、visualization.wordcloudで表示することができます。欠損値の除外（fillna）のみ前処理を行ったテキストデータを可視化してみます。 ```python raw_text = df['text'] clean_text = hero.clean(raw_text, pipeline=[ hero.preprocessing.fillna, ]) hero.visualization.wordcloud(clean_text, colormap='viridis', width=500, height=400, background_color='White') ``` ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/d5018789-2e96-ff87-2f44-70892f128ba4.png) word cloudを表示することができました。結果を見ると、「the」「in」「to」など、重要ではない単語が多く表示されています。ストップワードを除外する処理を入れたほうがよさそうです。併せてその他の前処理も行い、再度word cloudを表示してみます。 ```python clean_text = hero.clean(raw_text, pipeline=[ hero.preprocessing.fillna, hero.preprocessing.lowercase, hero.preprocessing.remove_digits, hero.preprocessing.remove_punctuation, hero.preprocessing.remove_diacritics, hero.preprocessing.remove_stopwords # ストップワードの除去 ]) hero.visualization.wordcloud(clean_text, colormap='viridis', width=500, height=400, background_color='White') ``` ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/4b42a21a-8e78-67ad-6539-a705839cdd24.png) ストップワードが取り除かれていることが確認できます。 *※日本語のword cloudについては、以下の記事をご参考下さい。* https://qiita.com/h_yuma/items/213af175b20bbc3f07ff ### 散布図 Textheroでは、単語をベクトル化した散布図を描くこともできます。今回、データに対して以下の処理を行います。 - 前処理 - tf-idf（[注釈](#注釈)）による単語の重要度の計算 - PCA（[注釈](#注釈)）による次元削減 - k近傍法（[注釈](#注釈)）による分類 ```python df['tfidf'] = ( df['text'] .pipe(hero.clean) .pipe(hero.tfidf) ) df['pca'] = df['tfidf'].pipe(hero.pca) df['kmeans_labels'] = ( df['tfidf'] .pipe(hero.kmeans, n_clusters=5) .astype(str) ) ``` 処理後のDataframeである df は以下のようになっています。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/7f5fefab-64ec-bb44-fcb3-d3b15fc83dfc.png) それでは、この結果を散布図としてプロットしてみます。 topicごとの分類およびk近傍法による分類の2つを表示してみます。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/189978/5c479567-d77b-5a88-b069-11c156ed0eec.png) 散布図を表示することができました。図を見ると、k近傍法による分類が、トピックごとに分けたものと非常に近いことがわかります。 # 注釈 - ストップワードとは、自然言語処理において分析対象から除外される単語のことです。日本語では、「は」「の」「です」など、英語では「a」「the」「of」などは頻繁に用いられますが、あまりに一般的な単語で分析対象としない場合が多く、その場合前処理などで除外することになります。 - tf-idfとは、文書中に含まれる単語の重要度を評価する手法の1つです。tf（Term Frequency、単語の出現頻度）とidf（Inverse Document Frequency、逆文書頻度）の積で表されます。 - PCA（Principal Component Analysis）とは、主成分分析とも呼ばれ、多変量解析の手法の1つです。互いに相関のあるデータの集まりの中から、データのばらつきである分散が大きい「主成分」を見つける際に利用されます。また、本記事のように多次元のベクトルを可視化する際に、次元削減のために使用されることもあります。 - k近傍法（k-nearest neighbor, k-NN）とは、多クラス分類で用いられる手法の1つです。ベクトル空間上にデータが存在しているとき、未知のデータに対して、既存のデータのなかから距離的に近いK個のデータを取得し、多数決によってどのクラスに属するかを推定します。 # 参考文献 - https://github.com/jbesomi/texthero - [10分でわかる主成分分析(PCA)](https://www.slideshare.net/takanoriogata1121/10pca-49324044) - [K近傍法(多クラス分類)](https://qiita.com/yshi12/items/26771139672d40a0be32)

forum コメント・1件

コメント・1件