NLP2023 緊急パネル: ChatGPTで自然言語処理は終わるのか？ を聴講した

言語処理学会第29回年次大会 (NLP2023) で緊急開催されたセッションを聴講した。こんにちのChatGPTやGPT-3.5 APIが爆発的な普及を鑑みて、昼休憩の時間帯に急遽差し込まれるかたちで実施された。NLPの名だたる研究者らが、この乱世を捉えるための論点を提供してくれた。スピード感が伝わってくる歴史的な大会となった。

https://www.anlp.jp/nlp2023/#special_panel

大規模言語モデルの発展によって自然言語処理（NLP）の方法論は大きく様変わりした．中でもOpen AIから発表されたChatGPTは言語モデルの利用方法を飛躍的に拡げ，世間からも大きな関心を集めている．ChatGPTに代表される巨大言語モデルの出現でNLPはどう変わるか，はたまた終焉をむかえるのか？ 

「実社会での実応用が先行して実施された、やや異常事態」という表現が納得感があった。もっと言うと、最新の尖った技術がギーク層を飛ばしていきなり一般層に普及したわけで、これも珍しい気がする。実際のところ原理もよく分からないうえ、誰も試行錯誤する間もなく、真の向き合い方を知らない状態で一気に繁殖を遂げた。やばい話にも聞こえる。

 

この時代を我々はどう生きるか。今日まで抱えていたもにょもにょしていた感覚が自分の中で言語化されてきた。大変勉強になった。近日中に録画も公開されるようなので、ぜひ観てほしい。

言語処理学会第29回年次大会 (NLP2023) に参加

沖縄コンベンションセンターで開催されている言語処理学会に参加している。検索、埋め込み、質問応答、地理空間情報との融合あたりの研究を重点的に聴講する予定。

 

今日から一週間、沖縄を楽しむぞ〜🌺

美味しいホットケーキを食べて、伊丹空港から沖縄へ出発

今日から出張で沖縄に行きます。初めて使う伊丹空港から飛び立ちます。空港内の丸福珈琲店で、美味しいホットケーキをいただきました。特別な日には、パンケーキかホットケーキを食べる習慣を作ろうと思っているので、今日はその日！ということで、とても楽しみにしていました。

久しぶりのフライトは、胸躍るものがありますね。前回の沖縄旅行は、コロナ前でしたが、今回はパンデミック後の初めての旅行です。ちょうどマスクの着用が自由化された日でもあり、空港のオペレーションは以前とほぼ同じ感じに戻っていて、日常が帰ってきた感がありました。

さあ、これから沖縄に向けて飛び立ちます！フライト中は、音楽を聴いたり、本を読んだり、仕事を進めたりと、楽しみたいと思います。旅行は、新しい場所での出会いや体験が待っているので、とてもワクワクしますね。

この記事は、ChatGPTを活用してブラッシュアップされました。

ChatGPTに自分のスクボを繋いで対話した

今日もChatGPT APIの話題。

nishio氏のScrapbox ChatGPT ConnectorをScrapboxプロジェクト /daiiz で試してみた。出先で手軽に試せたり、対話の履歴を残したりと便利なのでColabに移植しつつ実行した。とても面白い。

自分がこれまで書き溜めてきた知識をベースにして検索できる。自分の中の人と対話できる感覚。造語に関する質問「GUIコピとは何ですか？」や、超ニッチな研究ネタ「SVGスクリーンショットについて」なども難なく応えられて凄い。（画像をクリックして拡大できます。）

これを活用して、次に自分が書きそうな同人誌を尋ねてみた。まっとうな答えが得られた。2番目の「XMLとXSLの話題」に関しては、SVGスクリーンショットの本で既に書いている。やはり現実性が高い選択肢を挙げられているのではないだろうか。このリストに先の本が載っていないのも興味深い。執筆済みのネタをうまく避けている可能性が考えられる。

「daiizが次に書きそうな本のネタは？ 5個挙げよ。」という問いかけに対する結果。

ここまで精度が高いとは思わなかった。コードを読んだ感じだと、基本的には特徴ベクトルの近傍検索がメインぽかった。OpenAIが提供している言語モデルのEmbedding性能が凄まじく良いということだ。検索処理に関して、いくつか工夫を適用してから、もう少しページ数の多いScrapboxでも実験してみたい。

ツールとしてのその他の用途として、飲み会で自分の最近の個人開発のトピックについてスッと出てこないときにも便利そう。ポータブルにして居酒屋でも使えるようにしよう！

テキストと画像を使って検索する

個人開発で、テキストと画像をクエリとしてブックマークと写真を探索できるシステムを作っている。いまのところはElasticsearchとNon AIで古典的な手法を使った単純な検索を実装している。不定期で開発を継続して、ここ半年くらい、なんだかんだ毎日使っている。発見と連想のバランスも絶妙で、いい感じに動いている。

テキスト「bard」(吟遊詩人) で検索すると、Googleの対話型検索エンジン「Bard」のスクリーンショットと『吟遊詩人ビードルの物語』の書影がヒットする。

「フロントエンドの神様」という文字が入った画像で検索すると、「フロントエンド」と「サンド」で曖昧一致したカツサンドの写真と、千と千尋の神隠しの映画で登場する「ひよこの神様」の画像がヒットする。このような検索結果の雑多さが思考を刺激してくれる。ヒントとして表示された画像を選択してクエリに追加してさらに検索を続けられる。

テキストと画像を組み合わたクエリも発行できる。著者名「daiiz」から探索をはじめて、同人誌即売会で頒布した本の写真で絞り込み、この書籍に関する正式なウェブページの情報に辿り着ける。

そろそろこの分野の開発でも、Generative AIの技術革新の波に乗って Vision Transformer (ViT) やこれを応用した Contrastive Language-Image Pre-Training (CLIP) を搭載してみたい。

余談にはなるが、CLIPのアイデアは本当に凄いと思う。文章と画像の情報を同じ特徴空間にマッピングすることで、モデルが捉えられる意味の解像度が上がった。複合分野での柔軟な検索も可能になる。画像に対して「ラベル」でなく「文」で説明をつけられる感じ。従来の画像学習のアプローチと比較して圧倒的な情報量の差が生まれる。

関連論文

• https://arxiv.org/abs/2010.11929 (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)
• https://arxiv.org/abs/2210.08901 (Contrastive Language-Image Pre-Training with Knowledge Graphs)

ChatGPT APIの使いどころを考える

ChatGPT APIが公開されたので早速試してみている。プロンプト探しの旅。但し書きなど本質以外の文を少しいじっただけで結果の精度が大きく変わるのでチューニングが難しい。本当にこれでいいのかGenerative AI。自然言語でなく、なんかプロンプトの特徴ベクトルみたいな、本質を直接を与えられると嬉しいのだが。

たまたまいい感じの結果を生成してくれる命令を見つけたとしても、それはChatGPT (GPT-3.5) にとっての「いい感じ」なのであって、モデルのバージョンが上がったり他のLLMsのAPIを使う場合は再び探検しないということだよな？ このへんのまどろっこしさは受け入れていくしかない？ 長期的に考えれば、これを超える十分な創造性が約束されているということを信じるしかないのだろうか。

定点観測: Bing AI

Bing AIさん、自分を何と呼ぶのが一番しっくりくるか試していそう。

この前に見たときは「応答エンジン」だった。いまは「Web向けcopilot」を名乗っている。GitHubのAIによるコーディング支援機能の名称もCopilotですね。

 

ポータブルモニターを買った

出張先のホテルで快適にコードを書くための投資。2万円で集中力と没入感を買えるのはコスパが良い。商品選定として、USB Type-Cでの給電は必須。あとは軽ければ軽いほど良いのでスピーカーも不要。残るは画面の大きさを重視する。自分が日頃に持ち運べる限界の大きさも考えた上で、16インチは欲しい。そしてノングレア液晶だと嬉しい。

総合的に満足できそうなものとして、LGからベゼルレスでいい感じのモデルが出ていたのでこれを買った。22年のやつなのでちょっと安くなってきていそう。

LG gram +view 16MQ70 | モバイルモニター | LGエレクトロニクス・ジャパン

 

 

思っていたよりも薄くて、両サイドにUSBポートがあって、画面下部にメーカーのロゴなどの装飾がなくて最高！

実際に使っている様子はまたどこかで。

マックのアジアンバーガーズを全種類食べた

マクドナルドのアジアンフェア「アジアンバーガーズ」の3種類を期間内にすべて食べれた。

https://www.mcdonalds.co.jp/campaign/asian-burgers/

個人的なランキング

• 1位 油淋鶏チキン
• 2位 担々ダブルビーフ
• >>> 高い壁 >>>
• 3位 スイートチリシュリンプ

リピートしたのは油淋鶏チキンだけだった。今シーズンは、自分の中では珍しく辛さ枠でないメニューがトップになった。世間的にも人気だったのか、後半は地元の店舗はUber Eatsでも売り切れ状態が続いていた。

4月はてりたまかな？

油淋鶏チキン

 

シンプルに旨い

担々ダブルビーフ

 

スイートチリシュリンプ

アイドルと論文の追っかけと天体観測

ツイッターで流れてくる機械学習系の論文の大群を眺めて、どうにかして最新の議論に追いつきたいという焦燥感に駆られることがある。大学院時代、GoogleのAlphaGoが世間を賑わせていたくらいの頃に、まさにこんな心理状態だった。

この状況をなんとか過ごすなかで、専門外の"最新"の話題を追いかける時の心得を学んだ。タイムラインで発見している時点で、数ヶ月から二年くらいは既に遅れている、という事実。arXivに論文が掲載された翌日翌週には、さらに高精度な改善手法が提案されている世界である。SNSで読んでいるそれは、流れが速すぎるこの業界においてはすでに過去の産物になっている可能性もある。何光年も離れた星から地球に到達した僅かな光を一生懸命に観測しているように。たったいま理解して感動した手法はすでに無くなっていて、その場所には新しい発明が生まれているかもしれない。

今日のGPT-3の大波も当時によく似ている。ここで下手に焦ってはいけない。今回はさらに事態が悪化しかねない。これまで以上に超絶に興味があり、上手いことやれば面白いものを作り出せる環境に身を置いており、基礎的な勉強をしてしまったばっかりに仕組みや発展の可能性を少し考察できてしまう、というトリプルパンチ。のめり込みすぎず、客観視できる余裕を意識的に持ちたいものだ。

・・・

天体観測といえば、アイドルの追っかけでも通じるものを感じる。推しメンや推しグループを初期から推せていることは珍しくて、卒業間近で魅力に気付き、過去の映像作品を遡って鑑賞しながら最後の数ヶ月だけを全力で応援することも経験してきた。発見が遅れて卒業後にYouTubeで知って後悔することもよくある。ちょっと前までそこで輝いていた存在なのにいまはもう見れない、儚い世界である。