スパムフィルタと人工知能との戦いに

牧師トーマス・ベイズにちなんだフィルタが大活躍

毎日、山のようにスパムメールが届きます。メールが正常かスパムかを判断するのに使うのがメールソフトのフィルタです。会社ではサーバー側でもフィルタをかけていますが、標的型メール攻撃は、このフィルタをかいくぐって手元に届きますので、ご注意ください。


フィルタは、わいせつ用語などのNGキーワードがメールの題名や本文に含まれているとスパムメールと判断します。ただし、キーワードの一部が伏字になっていると判定できずにフィルタを素通りします。これに対応するのが「ベイジアン・フィルタ」です。


ベイジアン・フィルタは、スパムメールと正常メールの特徴を確率統計的な手法を用いて分析し、設定した単語、語句の出現頻度などを比較して判断します。判断は題名や本文だけでなくスパムらしき相関性のある単語の使われ方や組み合わせなどを細かく分析をします。


例えば、伏字が多いとスパムメールとなりフィルタで排除されます。反対に「アダルト」という言葉だけではスパムメールかどうか分からないので特徴を調べて判断します。フィルタは再学習することでスパムメールの判断精度が上ります。


ベイジアン・フィルタには、1761年に亡くなった牧師トーマス・ベイズの確率理論(ベイズ理論)が使われています。ベイズ理論は、過去に起きた事象の発生頻度から未来の発生頻度を予測するという確率論です。ベイズ牧師は、まさかスパムフィルタに自分の理論が使われるとは想像すらしていなかったでしょう。

2011年、碁で人工知能が人間に勝利

スパムフィルタは、いよいよ人工知能が登場する時代となりました。


アイ・ビー・エムが質問応答システム「ワトソン」を開発。すでに銀行などのコールセンターへ導入が始まっています。コールセンターに電話して、人間の担当者に問い合わせをしているつもりが、実はコンピューターが相手だったという時代になりつつあります。


2011年、このワトソンが米国のクイズ番組に出演し、人間のクイズ王と対戦。勝利して賞金の100万ドルを獲得しました。2013年には将棋の電王戦で、現役プロ棋士5人と5つのコンュータープログラムが戦い、コンピューターが団体戦で勝利をおさめました。将棋とくれば次は「囲碁」です。囲碁は将棋に比べて、人工知能が人間に勝つのは格段に難しいといわれていましたが、アルファ碁が世界トップ棋士に勝利してしまいました。

ニューラルネットワークでスパム判定

人工知能の分野には「ディープラーニング(深層学習)」があります。人間の神経はニューラルネットワーク(神経回路網)で構成されていますが、これをコンピューターで実現したものです。一週間にわたりYouTubeの映像を1000台のコンピュータで構成されるニューラルネットワークに見せたところ、白紙の状態から何百万もの未分類のイメージを分析し、「これはネコ」と分類しました。


これは事前にネコのことを教えられなかった、ニューラルネットワーク自身が、YouTubeの映像からネコがどういうものか学習したことを意味します。そして、人間に勝利したアルファ碁には、このニューラルネットワークの技術が使われています。


ニューラルネットワークはグーグルのGメールのスパムフィルタで導入され始めています。Gメールでは機械学習機能を強化しており、ユーザーごとにスパムの基準を最適化しています。例えば、ショップからのDM(ダイレクトメール)が、あるユーザーにとって有用でも別のユーザーが迷惑と思うなら、迷惑と思うユーザーのメールだけをフィルタで迷惑判定するのです。


守る側が人工知能を導入すると攻撃する側も必然的に対抗を始めます。人工知能の時間貸しを使って、攻撃側はスパムフィルタをかいくぐり、スパムサイトに誘い込むメールを生成し、送り出すようになると考えられます。


【教訓】フィルタを過信せず、個々のメールをしっかりチェックする
水谷 哲也(みずたに・てつや)

1960年、三重県・津市生まれ。京都産業大学理学部卒。ITベンダーでシステムエンジニア、プロジェクトマネージャーを担当。その後、専門学校、大学で情報処理教育に従事。2002年に水谷IT支援事務所を設立し、所長に就任。三重県産業支援センター、大阪府よろず支援拠点、ひょうご産業活性化センターなどで経営、IT、創業を中心に累計4100件以上の経営相談を行う。

著書に「インターネット情報収集術」(秀和システム)、電子書籍「誰も教えてくれなかった中小企業のメール活用術」(インプレスR&D現在、All About 企業のIT活用」担当ガイドとして、IT活用にまつわる様々なガイド記事を発信中。中小企業診断士、ITコーディネータ・インストラクター、アプリケーション・エンジニア、販売士1級&登録講師。



この記事は株式会社パシフィックネットが運営していたWebメディア「ジョーシス」に 掲載されていた記事を転載したものです。
2016年2月3日掲載